趙郡李氏作為關東名族，據稱乃是戰國時期武安君李牧的后人，可謂傳承悠久。
哪怕真正有據可考的先人，也可追溯到西晉時期的李楷，據傳李楷乃是西漢廣武君李左車的十七世孫，雖然在此以前的先人世系略不可考，但自從李楷帶領族人們定居趙郡平棘縣之后，李氏族人們便在這一片土地上開枝散葉、茁壯發展。
趙郡李氏東祖、西祖、南祖定著三房，俱是李楷子孫，以各自宅居方位而定其房系，各自在鄉里繁衍生息，鄉勢愈壯。西晉末年永嘉之亂，而后五胡亂華，河北大地可謂是民不聊生，趙郡李氏卻由于據地自守而發展的更加壯大，并且其族人在北魏時期頻為顯宦而獲得了更大的影響力。
像是北魏太和年間首倡施行均田制的李安世，便出身趙郡李氏東祖房。因為趙郡李氏族人們在北魏政局中越來越大的影響力，當太和改制的時候，趙郡李氏也正式成為北魏朝廷所欽定的崔盧李鄭漢人高門四姓之一。
趙郡李氏在政治上地位和影響越發顯赫之余，在地方鄉勢上的發展也并沒有落后太多。自西晉時期，其宗族越發壯大，以最初的族地平棘縣為中心向四方進行遷移，逐漸的擴張到趙郡、南趙郡等諸縣之間。
后世所謂土豪之家，了不起族屬數千、擁地萬畝，但趙郡李氏的鄉資勢力那是真的跨郡覆縣，族居區域動輒百里一計，房支族戶數千逾萬。
后世言及中古南北朝時期北方世族豪強等地方勢力的發展，往往會引用《北史》記載的一個例子“集諸李數千家于殷州西山，開李魚川方五六十里居之，顯甫為其宗主”。
這一段文字講的便是趙郡李氏發展壯大的一個例子，當中所言李顯甫便是出身趙郡李氏東祖房。
李顯甫開李魚川并聚族人數千家居此，時間大約還在北魏太和年間，并非六鎮兵變的大亂之年，未必是為了躲避戰禍而筑造塢壁以自保，更像是一個區域的族勢發展已經飽和，所以向別處分流，繼續擴大其宗族勢力。
僅僅李顯甫便可以動員數千家族人開辟新族地，動輒便是方圓幾十里，對鄉土人事的動員力之大已經不遜于州郡官府，足見趙郡李氏鄉勢之雄大。
李顯甫的兒子李元忠則猶有勝之，不只在鄉里是雄踞一方的豪強，威名赫赫震懾鄉里群盜，更曾一度深刻影響天下大勢的走向。
當年高歡將入河北，李元忠親望迎接并為之出謀劃策，且還聚集鄉兵攻戰殷州，為高歡打通進入河北的道路，以至于高歡成事之后還笑言是李元忠逼其建義舉事。