趙郡李氏有著如此雄壯的勢力和光輝的事跡，其族人心中自然也都高傲得很。因此當大唐朝廷針對趙郡李氏的懲處傳到河北的時候，趙郡李氏族人心中憤慨便可想而知。
盡管這所謂的不赦之刑所針對的只是趙郡李氏李憲一支，但李憲一家本就是趙郡李氏顯宗，單其一家人便幾乎占了東祖房的半壁，一旦接受了這個不赦之刑，對其一家政治前程的打擊可謂是毀滅性的，對整個趙郡李氏的聲勢也會造成極大的重創。
后世常以瑯琊諸葛氏分事三國而論證中古亂世當中士族長袖善舞、見風使舵，但趙郡李氏與瑯琊諸葛氏相比還是有所不同。
諸葛氏分事三國，恰恰說明了這個家族本身就沒有足夠強大的鄉勢和凝聚力，所以族人們才飄零諸方、各覓出路。但趙郡李氏在河北無論鄉資勢力還是政治影響都是第一流的，族人們之間的凝聚力自然也是很大，李憲一家又是顯支，即便是想做切割，一時間也很難切割清楚。
總之，當這一消息傳到河北之后，作為李氏族居地的趙郡、南趙郡等地便徹底沸騰了。且不說人人自危、羞憤有加的趙郡李氏族人，一些早已經高舉義旗歸附大唐的豪強態度也變得微妙起來。
這些豪強立足此項而成其勢力，多多少少都是與趙郡李氏有所牽連的。而且據史書所載，趙郡鄉里每遇災荒，鄉人窮困難活，趙郡李氏便會放貸賑濟，過后又焚燒借據以悅鄉人。
拋開這為善鄉里的表象不說，內里所體現出來的本質，那可是趙郡李氏牢牢把持著鄉里錢糧大權，老爺們如果不發善心，鄉人們便要難過活！這一片土地經過幾百年的經營，早已經被筑造成一個蛛絲密結的巢穴！
就算韋孝寬不制定一個借追剿余寇的名義來肅清趙郡鄉里的計劃，趙郡李氏的族人們也早已經行動起來了。原本分散各處的趙郡李氏族人紛紛潛逃歸鄉，而本就聚居鄉里的族人們也都陸續集合起來，當然未必人人都有舉族抗衡大勢的勇氣，聚集起來商討應對之計也能讓人稍微安心一些。
這些李氏族人主要向平棘縣的三祖巷、贊皇左車城以及西山李魚川等地聚集，這其中尤以李魚川聚集的人眾最多，僅僅趙郡李氏族人與他們各自部曲家丁們便有上萬人之多！
在這當中也有幾個代表人物，像是李元忠之子李宗侃、李希仁之子李公統、李安世的孫子李士謙，這些都屬于趙郡李氏東祖房。另有南祖房李稚廉、李騊駼(taotu)叔侄，如今高浟麾下建議北進聯合趙郡李氏的李文師，便是李騊駼的兄長。
至于趙郡李氏西祖房，則就乏甚代表人物在場，人勢上略有欠缺。西祖房代表人物李徽伯那也曾經是個非常狂浪的人物，早年間甚至還曾參加過六鎮叛亂，先后追從杜洛周、葛榮麾下，甚至一度受封為王。
后來其人歸順東魏后被任命為陜州刺史，在與西魏的交戰中城破遇害，其子李子雄、李子旦俱流落關中，高仲密前妻李昌儀便是其女。而在之前淮南擔任合州刺史的李伯穆，也是李徽伯的兄弟。