第壹，皇帝越來越不重視這個部門。到了明朝中後期，很多皇帝在處理國家大事的時候都非常懶惰和粗心大意。壹般的政治部本身只能通過皇帝痛苦的呈獻奏章來表現效果，但是皇帝的懶惰導致了他們的地位逐漸下降。不僅如此，很多事情也是內閣處理，總務署在皇帝心中沒有任何意義。
第二，明朝的政治制度發生了變化。明朝後期設立內閣等機構，分享總政治部的權利，而隨著內閣權力的日益增大，總政治部逐漸衰弱。後來出現了文件室的結構，使得總政治部更加可有可無，基本上發揮不了作用。而且內閣的壯大把總政治部變成了附屬品，沒有威懾力。
第三:總政治部官員對自己的工作不負責。剛開始總政治部的權力還是比較大的，導致壹些官員利用自己的權力貪贓枉法，於是逐漸開始腐敗。這樣，總政治部本身老老實實分享權利的作用就演變成了錯誤的方向。更嚴重的是，這些官員不惜泄露重要機密來謀取利益，給國家帶來壹定的損失。就這樣，總政治部逐漸衰落，直至名存實亡。