但是刘伯温清楚的知道，只是朱元璋忌恨自己“神机妙算，运筹帷幄”的本领。于是刘伯温小心翼翼的伺候着朱元璋，后来由于受到李善长和胡惟庸等人的排挤，在朝中郁郁不得志。在洪武四年（1371年），刘伯温请求告老还乡，正式推出政治舞台，时年61岁。其实这也是刘伯温明哲保身的做法，因为自古以来，开国功臣都没有什么好下场，所以刘伯温选择了告老还乡。

二月中旬，刘伯温抱病觐见朱元璋，并告之此事，可是朱元璋只是轻描淡写的说了一些要他宽心养病的安慰话，这使刘伯温相当的心寒。刘伯温回乡后不久就因病去世了。神机妙算的刘伯温，千算万算也算不到自己有这么一劫，最后还是惨遭毒害。