公元1241年，余 以四川制置使兼兵部侍郎的身份為蜀帥，經營川蜀。在就任四川制置使的十二年間，余 最大的功勞，莫過于創建了抵御蒙軍的山城防御體系。有了山城，韃靼人前來進攻時，咬碎了牙齒，卻不能奪下山城，極大地鼓勵了川民勝利的信心。他還在川蜀地區屯田聚糧以養軍資，數年內就不要朝廷的糧秣補給，可見川蜀之富，也更讓朝廷不放心了，反倒成為了他擁兵自重的一個原因。余 從來都不畏戰，他積極地收復失地加固城池，甚至在抵御蒙軍之余，還能聚集力量北伐漢中，收復漢中，奪回三關，完成了封閉蜀口的不世之功。固然，仗是孟之祥之輩打的，但余 支持孟之祥，不掣肘他們，孟之祥必須對余 感謝的。得益于治理川蜀期間的出色表現，余 的官職從兵部侍郎晉升為兵部尚書。同時，為了肯定余 任職四川制置使的功績，朝廷又先後加封余 為龍圖閣學士、端明殿學士，最後將其封為同知樞密院事。余 的這些頭餃，隨便拿出一個，都是朝堂之上那些庸碌之輩窮其一生都無法企及的榮耀。畢竟是“選海無涯”，能夠成為相公以及學士的文官少之又少，于是就在余 的榮耀達到頂點之時，遠在千里之外的南宋朝廷，有人開始對余 所獲得的榮耀眼紅了起來。在這些人看來，如余 這類人的成功，無非是在人生的某個特定時間點，多干了一件事，或者是干對了一件事，從此人生就光芒萬丈。要是給他們一個機會，他們覺得自己也可以。余 行，我也行！但是他們或許是不明白，也或許是不願意明白那麼一個道理——誰的成長之路不是歷經曲折！誰的成功不是經過千錘百煉！當他們在廟堂之上羨慕和嫉妒余 的無上榮耀時，他們沒看到余 在昏黃的燈光之下，研究川蜀山川大勢的情景；沒看到余 在成都平原之上，與蒙軍周旋而生死一線的時候；也沒有看到余 因督造川蜀山城的建設而差點跌落山崖的場景；他們更沒看到余 像個普通的農夫一樣，在田間勞作的場景。他們更沒看到余 因積勞成疾，躺在病床上依舊在思索著如何建設四川，如何反擊韃靼人的情景！他們說只要給我用上孟之祥，我們也可以把韃靼人打出四川，差不多就是“有好球員，教練不需要”的意思，卻不想想，想要驅使孟之祥這等世之虎將，桀驁不馴的大軍頭，豈是普通人能夠做得到的。一般人誰不能夠對孟之祥那百萬貫的鹽稅純利不眼紅，對孟之祥的賬局不覬覦的。真要是與孟之祥爭利互懟的話，嘿嘿，哪怕他身為相公、四川制置使，也保不準死于非命，孟某人熟悉很多“喝水死”和“躲貓貓死”的伎倆！方面大員死去，朝廷震動，孟之祥也不能置之度外，萬一他被查實罪責，一旦他去職後，四川誰人可保？余 為國為民所做的這一切，全然不在他們的考慮範圍之內。而在坎坷的仕途之路上，參倒余 ，倒是一件值得他們“驕傲”和充滿挑戰的事。大宋堂堂的左丞相謝方叔，把他那些本該用于治國安邦的心眼兒，用在了忠心為國家保境守土，治理一方軍政的余 身上。而後，在上有謝方叔讒言詆毀、下有姚世安抗命不遵的聯合攻擊下，一場針對余 的政治風暴開始了。余 在獲知姚世安公然抗命之後的退讓，不僅沒有換來姚世安的感激，反而讓其更加變本加厲的在川蜀之地收羅余 這十年來的“不法罪證”。一時間余 這些年在出任四川制置使期間收了多少禮，揮霍了多少公款，安插了多少心腹，娶了幾個小老婆等等，都被姚世安在添油加醋，無據誹謗的情況下，傳達給遠在江南的謝方叔。于是，自覺“證據在手”在手的謝方叔糾集徐清叟等人，開始了在朝堂上對余 展開政治攻擊。一時間彈劾余 的奏章在宋理宗那里堆積如山。起初呢，老板宋理宗還是明事理的，從平民走上皇位的宋理宗，深知地方工作的不易，故而在朝堂上斥責謝方叔等人︰“余 十多年來守土川蜀，勞苦功高，爾等在這繁華富庶的江南又干了些什麼。除了每天醉生夢死之外，又可曾為朝廷分擔過半絲半毫的憂患？”宋理宗的話很重，只是那近水樓台的謝方叔，非但不引以為恥，反而堅持不懈的在每天匯報完工作之余還不忘狠狠的在宋理宗面前說上幾句余 的壞話。所謂滴水穿石，宋理宗終于在謝方叔不斷誹謗之下，問起了余 誅殺王夔，導致邊軍騷亂事件的始末以及影響。如此正中謝方叔下懷，他在向宋理宗匯報的過程中，謝方叔那是刻意淡化王夔的驕橫無禮，著重夸大王夔往日的戰功和對朝廷的忠心。活生生的把余 誅殺一個飛揚跋扈的將領說成了余 在經略川蜀之時，濫用自己的職權誅殺異己，安插親信。並以此暗示宋理宗，這余 有不臣之心！更為陰險的是，明明是謝方叔本人在背後支持雲頂山的姚世安和余 對抗。到他這里又變成余 因私自往利州府安插親信，導致利州軍民發生了騷亂。而之所以沒有發生大的動亂，那是因為他謝方叔讓其佷子在雲頂山城不斷的安撫，調停。在宋理宗看來，余 作為一個邊疆大吏，誅殺一兩個跋扈的邊將是不算什麼。但是，謝方叔那句“誅殺異己，安插親信”，卻觸到了他內心的紅線。古往今來的帝王們，對這些事都是諱莫如深。多數是寧可信其有，不可信其無。正常情況下，他可以把余 找來查證，奈何余 身處千里之外的重慶府，去一趟臨安府路上最快都要花費半個月。莫說此時余 不知道謝方叔的詆毀，就算知道，他又如何以抱病之軀為自己申辯？詆毀完余 之後，謝方叔繼而又打了個圓場，假惺惺地向宋理宗進言道︰“余 經營川蜀十多年，雖然有如此過失，但多年來還是有功的。陛下何不將其召還京城，以听其當面陳訴。如若余 奉召前來，此時仍不失為一片赤膽忠心；如若余 托辭不來，那余 不臣之心已昭然若揭。為此，陛下應早做決斷！”幾日之後，謝方叔見宋理宗還在猶豫，沒有召余 還京的意思，遂找到參知政事徐清叟，讓這個和他沆瀣一氣的家伙，找機會激宋理宗一把，將余 給拖下水。