韩侂胄自恃在宋宁宗即位的事变中立有大功，想在赵汝愚面前求得封赏，但赵汝愚不同意。他怀恨在心，见赵汝愚重用左相留正，就开始打留正的主意，常到丞相办公的政事堂转悠。

这一天，他又在政事堂转悠，正好被留正看到。正当韩侂胄东张西望，忽然有一个小吏过来对他说：“奉丞相之命来告，此间公事与韩大人无关，请不必常来。”

不久，留正与赵汝愚因为宋孝宗墓地之事发生争执。韩侂胄乘机向宋宁宗进谗言，留正罢相。

赵汝愚猜到一定是韩侂胄暗中捣鬼所致，大怒道：“我与留丞相只是公事公议。如此下去，将来谁还敢提不同意见？”

正说着，忽然有人来报：“韩侂胄来访！”赵汝愚挥手说：“不见！”

旁人赶忙劝道：“不宜不见。”赵汝愚顿时省悟，令人请韩侂胄入内。

韩侂胄被人追回，二人寒暄之后，便无话可说。就此不欢而散，怨恨更深。