失望之余，謝靈運遂利用自己的文名和文才，在大臣之中煽風點火。
挑撥離間，極盡誹謗中傷之能事，且毫無收手之意。
徐羨之等幾位顧命大臣惱羞成怒，遂以破壞安定團結大局為由，將謝靈運一腳踢出了朝堂。
永嘉乃彼時聞名遐邇的旅游打卡地，好山好水好風光。
見仕途無望，回頭無岸，謝靈運遂將政務拋諸腦后，一門心思將所有的時間都消耗在游山玩水上。
他每次出游，皆是美車美人美酒，且興師動眾，浩浩蕩蕩。
動輒十天半月，百里千里，且每至一地，皆賦詩作詞，指點江山，激揚文字，盡興而歸。
在郡任職不足一年，便將郡內及周邊名山名水一網打盡。
未及年末他又稱病辭職，未等批準，即返鄉歸隱。
謝靈運本是陳郡陽夏縣人氏，因其祖其父長年做官任職于會稽郡。
于是，其父便舉家遷往會稽。
生于斯長于斯的謝靈運，對會稽情有獨鐘，并將其當作自己的故鄉。
歸隱后，謝靈運置朝廷八項規定于不顧，擅自將籍貫改為會稽郡。
并頂風違紀砸錢在會稽郡內強占一處風景勝地，建起一處超豪華超規格的五星級別墅。
別墅落成后，謝靈運遂與當地隱士在別墅內聲色犬馬，腐化墮落。
與其他官員不同的是，每次行樂之后，謝靈運皆不忘賦詩作詞。
且長篇大論，洋洋灑灑，并將所作之詩高調發表于主流媒體之上。
少帝劉義符被眾位大臣暗算至死，劉裕的第三子劉義隆接棒登基為帝，史稱宋文帝。
宋文帝稱帝不久，即恩將仇報，一舉誅殺慧眼識珠提攜自己上位的顧命大臣徐羨之等數人，謝靈運的堂弟謝晦也躺槍被害。
而謝靈運卻躺贏，因遠離廟堂且有噴過徐羨之等人的顯跡。
不僅未受株連，反被重用，被宋文帝提拔至中樞機關任秘書監。
在此任上，謝靈運一反常態，洗心革面，先后受命整理皇家典藏珍籍。
謝靈運也因此被附庸風雅的宋文帝提拔為侍中，成為文帝身邊的紅人。
但時間不長，謝靈運就發現，文帝每次召見，只與自己談文說藝，至于國是政事則閉口不談。
“同文帝的關系也因此疏遠，很快也遭到其他大臣的不滿和彈劾。”
“元嘉七年謝靈運上表陳疾，文帝準他回家養病。”
“屢次被征召，又屢次不被重用的遭遇，令謝靈運不再對仕途抱有幻想。”
“于是承襲祖上遺風以文學立身，成為他彰顯自身存在、贏得世人認可的惟一途徑。”
“元嘉八年辭官回家后的謝靈運，游玩集會的陣勢很大，常驚動郡縣長官，謝靈運還因此曾得罪會稽太守孟顗。”
“孟顗信仰佛教，事佛誠懇，但謝靈運卻故意奚落孟顗，孟顗感到十分難堪。”
“后來謝靈運還上書，想將會稽境內的回踵湖填埋變成稻田，孟顗不給。”
“于是謝靈運又上書請求要另一個岯崲湖為田，孟顗還是不贊成。”
“孟顗認為這兩個湖是當地百姓的生活來源，絕對不能擅自填埋，于是寫了一道奏疏。”
“說謝靈運放蕩不羈、對百姓多有侵擾，橫行霸道，還圈養私兵，有造反之意。”
“謝靈運聽說此事，飛騎進京上書陳情，文帝也知道其本性如此。”
“便把他調到臨川，任職臨川內史并加俸祿至兩千石。”
“可謝靈運仍和以前一樣，我行我素，又被大臣彈劾。”
“謝靈運被彈劾后本該接受調查，卻反而抓住前來逮捕自己的從事鄭望生，起兵反叛。”