这时，有一个不满张文华的侍从，见嘉靖帝面带不悦之色，乘机进言道：“陛下，工部的大好材料，大半已为赵文华据为己有，用来建造自己的住宅了，还何暇营造西苑新阁？”嘉靖帝闻听此言，更加恼怒。不久，嘉靖帝将赵文华罢官治罪，权势熏天的严嵩也只能眼睁睁看着没有办法，救不了自己的干儿子。