“又跟隨太宰元天穆征討葛榮，平定邢杲，拜為征虜將軍。”
“跟隨爾朱天光打敗萬俟丑奴，被封為石城縣伯，食邑五百戶。”
“普泰元年，任征北大將軍、金紫光祿大夫、散騎常侍。”
“又跟隨爾朱天光平定宿勤明達，另外再討伐夏州賊寇賀遂有伐等人，將他們平定，授任大都督。”
“他跟隨爾朱天光同高歡在韓陵山作戰，爾朱天光戰敗后，于謹就進入潼關。”
“賀拔岳上表將于謹留下鎮守，任命他為衛將軍、咸陽郡守。”
蘇軾：宇文泰到了夏州，任命于謹為防城大都督。兼任夏州長史。
永熙三年，賀拔岳被殺害，宇文泰前往平涼。
正好孝武帝元修敕令將于謹調回任閣內大都督，于謹趁機獻上遷都關中的計策，北魏孝武帝采納了他的意見。
不久，高歡聽說孝武帝有西遷的打算后率軍進逼洛陽，于謹隨北魏孝武帝西遷。
接著他又跟隨宇文泰出征潼關，攻下回洛城，被任命為使持節、車騎大將軍、儀同三司、北雍州刺史，晉爵為藍田縣公，食邑一千戶。
大統元年，于謹被授任驃騎大將軍、開府儀同三司。
大統三年，夏陽人王游浪聚眾占據楊氏壁叛亂，于謹出兵討伐并擒獲了他。
同年，西魏軍東出征討東魏，于謹充當前鋒，進軍到盤豆。
東魏將領高叔禮據守險要城池與西魏對峙，于謹擊敗了他，俘虜兵眾一千人。
趁此又攻下弘農，擒獲東魏陜州刺史李徽伯。
大統三年十月，高歡抵達沙苑，沙苑之戰爆發。
于謹隨宇文泰和將領們奮力作戰，打敗了高歡，晉爵為常山郡公，增加食邑一千戶。
大統四年八月，于謹又隨宇文泰在河橋作戰，任大丞相府長史，兼任大行臺尚書。
稽胡帥夏州刺史劉平叛亂，于謹率兵討伐平定了他。
因功任大都督、恒并燕肆云五州諸軍事、大將軍、恒州刺史，入任太子太師。
大統九年，于謹又跟宇文泰東出征討，進攻柏谷塢，大勝。
同年，東西魏爆發邙山之戰，西魏軍失利，于謹率領他手下的兵馬假裝投降東魏，站在路旁。
高歡的軍隊乘勝追擊逃兵，不曾戒備。
等追擊的騎兵過完了，于謹就從后面攻擊他們，東魏軍驚慌失措。
獨孤信又聚集兵士在后奮力沖殺，高歡的軍隊就亂了起來，因此西魏軍得以保全。
大統十二年，于謹任尚書左仆射，領司農卿。
到侯景歸附西魏時，請求西魏派兵作為支援，宇文泰命李弼帶兵接應他。
不久宇文泰又讓于謹兼任大行臺尚書、丞相府長史，帶兵鎮守潼關，加授華州刺史。
不久任司空，增加食邑四百戶。
大統十五年，于謹升為柱國大將軍。