晚年的張廷玉的確因某些事情惹怒了乾隆，而震怒的乾隆遂下詔削其伯爵爵位，罷其配享世宗廟宇的權利，並奪其官職。
鄂爾泰、張廷玉二人為官數十年，以其對各級官僚體系及朝政運作的熟稔程度，對乾隆初政起到了不可或缺的作用。但讓乾隆感到不滿的是，隨著鄂爾泰、張廷玉兩人地位的不斷上升，其身邊也日益形成利益小集團。張廷玉因乾隆之前的敲打怕會失了死後太廟之榮，便進宮面見皇帝，讓乾隆保證他死後得享太廟的聖旨。這壹求本就讓乾隆心生不滿，第二天又發現張廷玉沒有親自來謝恩。乾隆更為不滿。乾隆本來想下旨讓張廷玉自己來謝恩，可是旨意沒有到，張廷玉就自己前來。這讓乾隆更為忌憚，認為張廷玉勢力過大，軍機處中有人提前告知。
門下的考生賄賂考官壹案，這下徹底激怒乾隆了，隨後張廷玉被去職抄家，壹無所有地回老家去了。
此後在功名利祿雖皆失去，張廷玉也在家鄉過了五年頤養天年的生活，享年84歲。帶著失去太廟之榮的遺憾永遠離開。可乾隆為顯示皇恩浩蕩，帝王風度，又在張廷玉死後，對乾隆來說可能父命難為，再加上壹些君臣情分，乾隆還是遵父遺詔，讓張廷玉得以配享太廟。恢復了配享太廟的待遇。