祖珽在司馬消難府上雖然說的很兇狠，但是對于如何收拾迫害趙彥深，其實他也并沒有太大的把握。
雖然眼下祖珽是作為功士入朝，相對于其他北齊遺民們更快的完成了身份的過渡、順利融入到了大唐朝局之中，但他這個功士的身份也并沒有給他帶來太大的權勢威風，可以恃強凌弱、為非作歹，否則他也就能打聽到趙彥深自贖的內情，而不是誤會趙彥深家財豐厚、一擲千金。
眼下的祖珽也只是扯著虎皮做大旗的狐假虎威，內心里還是希望能夠嚇唬住趙彥深，逼迫其人乖乖低頭就范，奉獻給自己一筆豐厚的財貨。
祖珽離開之后，司馬消難府上賓主也都沒有了繼續宴樂的心情，尤其遭到祖珽敲詐的趙彥深，更是眉頭緊皺、不發一語。
司馬消難這個主人眼下心情也是惡劣至極，但還是有些不解道：“趙公何竟結怨祖珽這個小人？”
趙彥深聞言后便長嘆一聲，事情說起來也很簡單，之前他執掌北齊并省人事，祖珽屢屢奉表請用，但他卻不怎么賞識其人，加上當時齊主高演對祖珽也不怎么待見，于是幾番將祖珽排斥于選事之外，自然便結下一份舊怨。
若是往年北齊未滅，趙彥深對此自然也不在意，他身具高位，既然要做事就免不了要得罪人，因此記恨他的人也不知凡幾，但真正能報復到他的也寥寥無幾。可是如今世道人事換了一套秩序，祖珽這樣的小人趁勢而起，這就讓他始料未及了。
在聽完趙彥深的講述后，司馬消難便也嘆息道：“世事無常，誰能從容料定？祖某人今來尋釁，想要對趙公肆意加害，我自不允！但今東西形勢初定，人事也難免會再起波瀾，這一番舊怨沾惹上身，長安對趙公而言已經成了是非之地，還是盡早抽身離去更為穩妥啊！”
趙彥深聞言后便點了點頭，他也聽出司馬消難雖然也愿意庇護自己，但同時又不希望招惹麻煩，所以勸他盡快離開長安。而他也的確是有此意，本身長安這里就沒有什么值得他留戀的人事，趁此機會遠離是非、返回晉陽也不失為謀身之計。
且不說司馬消難與趙彥深的商議，祖珽在等了兩天時間后都不見趙彥深登門送禮，便又向相熟之人打聽一番，才得知趙彥深竟然已經和家人們一起悄悄離開了長安。
得知這一情況后，祖珽自是大為羞惱，不只有敲詐落空的惱怒，更有被人無視的羞憤，于是他便返回家中，伏案大做文章。
祖珽固然沒有什么權柄去隨意制裁別人，但也并不意味著他就完全沒有辦法拿捏趙彥深。他生性機巧且頗擅文辭，所以雖然品行不佳但在東魏北齊也頗歷親信之職，在天保年間便曾一度入直中書省，從而也知曉一些齊廷人事機要。