蔡邕的六世祖蔡勛，喜好黃老之術，漢平帝時曾任郿縣令。父親蔡棱，也有清白的操行，死后謚號“貞定公”。
蔡邕對長輩非常孝順，他的母親曾經臥病三年，蔡邕不論盛夏嚴冬、氣候變化，都沒有解過衣帶，七十天沒有睡過覺。母親去世后，就在墓旁蓋一間房子住下守著，一動一靜，都遵守禮制。一只兔子很馴順地在他的住宅旁邊跳躍，又有木生連理枝，遠近的人都覺得奇怪，前來觀看的人很多。他與叔父、叔伯兄弟同居，三代沒有分家，鄉里的人都稱贊他品行好。
蔡邕少年時即博學多聞，師從太傅胡廣。喜歡文學、數術、天文，還擅長音樂。漢桓帝時，中常侍徐璜、左悺等五侯，擅權不法，聽說蔡邕的琴鼓得好，于是告訴桓帝，命令陳留太守督促他啟程。蔡邕不得已，走到偃師，假稱生病，返回家中。[6]蔡邕在家中閑居，不與那些當世的賢達來往。受東方朔《客難》及揚雄、班固、崔骃設疑自通的啟發，于是汲取百家之言，肯定其中正確的而糾正不對的，創作了《釋誨》來警惕和自勉。
建寧三年（170年）至建寧四年（171年）間，蔡邕被先后擔任司空、司徒的橋玄征召為掾屬，受到橋玄的厚待。后出任平阿縣縣長，又被召拜為郎中，在東觀校書。后升任議郎。
當初，朝廷認為州郡會相互勾結結伙營私，于是下令互為婚姻的家庭和兩州人士，不得互相擔任監察官吏。后來又有三互法，規定互為婚姻家庭和兩州人士不得交互為官，禁忌更加嚴密。選用官吏，非常不容易。天下十三州，有十一州的人都不能擔任幽、冀兩州的官職，致使二州的官職缺職很久都無人接任。蔡邕上疏建議靈帝廢除近禁，不要拘于時間與三互法，只要合適的就可以任用。但靈帝沒有理會。
中平六年（189年），靈帝去世，董卓任司空，專擅朝政，聽說蔡邕的名氣，于是征召他，蔡邕推說有病不能去。董卓大怒，罵道：“我有滅人三族的權力，蔡邕就算驕傲，也是不過轉足之間的事而已。”急令州郡征召蔡邕到府。蔡邕不得已只好應命，署任博士祭酒，很受董卓敬重。[29]隨后，他被舉為“高第”，歷任侍御史、治書侍御史、尚書，三天之內，遍歷三臺；又升任巴郡太守，被留任侍中。
初平元年（190年），蔡邕被拜為左中郎將，隨漢獻帝遷都長安，被封為高陽鄉侯。董卓的賓客部屬想讓朝廷尊崇董卓與太公相比，稱尚父。董卓詢問蔡邕的意見，蔡邕說：“太公輔周，奉命滅商，所以特號為太公。現在您的威德雖高，但相比尚父，我以為還不行。等到關東平定，陛下返還舊京，然后再討論此事。”董卓聽了他的話。
初平二年（191年）六月，發生地震，董卓為此詢問蔡邕。蔡邕對他說：“地動，是陰盛侵陽，臣下不遵守國家制度引起的。前春天郊祀，公奉車駕，乘金華青蓋，爪畫兩箱，遠近都認為不合適。”董卓于是改乘皂蓋車。董卓看重蔡邕的才學，對他非常客氣，一遇舉行宴會，往往令蔡邕鼓琴助興，蔡邕也有心出力。但董卓性格剛愎自用，蔡邕恨自己的話很少為董卓采納，對堂弟蔡谷說：“董公性格剛烈而容易作惡，終究不能成事。我想東奔兗州，但是道路太遠，不易達到，打算暫時逃到山東地區看看，怎么樣？”蔡谷說：“您的容貌與普通人不同，在路上走，圍觀者云集，這樣，想躲起來，難啊！”蔡邕才打消了這個主意。
初平三年（192年），董卓被誅殺，蔡邕在司徒王允坐上，不知不覺說起董卓來，并為之嘆息，露出了哀戚的神色。王允勃然大怒，呵斥他說：“董卓，是國家的大賊，差點傾覆了漢室。你作為臣子，應該一同憤恨，但你卻想著自己受到的禮遇，忘記了操守！現在上天誅殺了有罪的人，你卻反而為他感到傷痛，這難道不是和他一同作為逆賊嗎？”并隨之將蔡邕收押交給廷尉治罪。蔡邕遞上辭表道歉，請求受到“黥首刖足”的刑罰，以求繼續完成漢史。士大夫大多同情并想要救他，沒有成功。