为政敌所忌恨，听说吕调阳请求致仕，他自然有些不悦。
张四维没想到张居正一上来就问这个，阁臣之间向来关系微妙，他只得谨慎答道。
“确有其事，首辅离开的这三个月，吕阁老向今上递了两道折子。”
“他的决心挺大嘛!”
“吕阁老实在是身子骨一日不如一日，往常是冬天才犯的哮喘，现在大热天也犯，坐在那里就像扯风箱似的，一开口说话就先听得喉咙里一片痰响，。”
“吕阁老有六十二岁了吧?”
“大概是。”
“依我看，吕阁老想请求致仕，怕是有心病啊。”
“心病？”张四维目中露出诧异。
“对，就是心病!”
面上虽挂着笑容，可张居正看向张四维时却是目光如炬。
“去年十月，家亲去世，今上太后纷纷要不谷夺情，实在是惹起了一场风波，不谷在家守制，翰林院那帮子词臣纷纷涌到内阁，要吕阁老坐上正位取代不谷。这是一场闹剧，责任在那些他们而不在吕阁老。但这件事发生之后，吕阁老见了不谷，总觉得有些不好意思，其实，不谷从来就没有责怪他。吕阁老是老实人，我猜他请求致仕，应该是与此有关。”
对于的张居正这的番表白，张四维的心里头自然不敢赞同，翰林院的词臣拥戴吕调阳取代首辅的事，张居正听说后自然是极为震怒。在家守孝后回到内阁，见了吕调阳还是面色铁青，几天都曾与他说话。吓得吕调阳大气不敢出，想表明心迹又找不到办法。但是现在首辅这么说，这也是一种姿态，但凡胜利者，对无力反抗的弱者总是表现得宽宏大量。
从内心来讲，张四维自然同情吕调阳，但善长审时度势，觉得与其得罪张居正，还不如得罪吕调阳。想了想，他趁机挑拨说：
“首辅对吕阁老的评价，极为允当，但依我看来，吕调阳此次请求致仕，还另有所因。”
“啊，还有什么原因?”
张居正的眉头微挑。
“这次首辅回乡葬父，吕阁老猜想自己可以临时主阁，那几天，我看他脸上还挂着些喜色。后来，今上给内阁发来圣谕，一应大事仍须首辅您酌处裁定。吕阁老听了之后什么都没说，当天就上了奏折，请求致仕还乡了。”
“今上要这样做，并不是我本人的意思，吕阁老又何必多心?”
眉头紧蹙着，张居正的脸色变得有些不太自然。
“吕阁老不肯值事，在外人看来，也有推卸责任之嫌。今上要从太仆寺调二十万两银子到内廷用，这是明显不合规矩的事，不单吕阁老，就是你们几位辅臣，也都不置一词，难道这也是无章可循的大事?也得我亲自处理不可？”
虽然责备的是吕调阳，但张居正却把张四维和其它几位阁臣都捎了进去，这只让张四维脸红红的，低声解释道。
“吕调阳是次辅，他不表态，我们站出来说东道西，岂不有越俎代庖之嫌？”