新中国成立，身为西南军政委员会主席的刘伯承，被拟定为解放军总参谋长一职。在征询他的意见时，他说：“我当过四次，总没当好，让我搞教育，当教书先生吧！”

1930年，刘伯承从苏联回国，去上海，被任命为军委参谋长，协助周恩来，参与策划全国的武装暴动。

1932年，他从上海转战多地来到瑞金，他被任命红军学校校长，接替何长工的职务，并表示一定要把红军学校办好。

他在担任校长的教育方针是，一切从红军实际出发。在学校缺少教材时，他领导教员编写教材，仅仅3个月就装订出版军事教材9种。给红军学校接受正规化，奠定基础，培养出很多基础指挥员。

几个月后，他被任命为红军总参谋长，他协助朱老总在前方作战。

1934年10月，他被军事顾问李德免职，降为红五军团参谋长，协助董振堂打仗。在长征途中，因为作战需要，中革军委再次任命为刘伯承红军总参谋长。

1935年6月，红一方面军经过将近一年的长征，与川陕地区的红四方面军会师。张国焘看到红一方面军人少、枪少，而红四方面军拥有8万人，政治野心开始膨胀，甚至要“另立中央”。

身在红四方面军的刘伯承和朱老总，与张国焘展开斗争，呼吁红军团结一致，招致不满。不久，就把刘伯承的总参谋长给免去，调任红四方面军红军大学校长。

红四方面军一路南下攻占成都失利，转头北上长征，1936年红一、二、四方面军在会宁会师。2个月后，中革军委，刘伯承第四次被任命为总参谋长。

解放后，这位多次担任总参谋长的统帅，无论从军事理论，还是作战经验都首屈一指，能再次担任总参谋长最合适不过。

不过，刘伯承最大的心愿不在于此，而一直心心念念想办一所军事大学。他一贯主张“建军必建校”、“治军必先治校”。

他从红军时期到解放战争，一边打仗一边办学，担任过中央红军学校校长，又在红四、二方面军当过校长，解放战争时又担任第二野战军军政大学校长。

1950年，他觉得自己年龄大了，不合适一线工作，辞去西南行政长官的职务，申请去办一所军事学校，中央同意他的申请。

就这样，经过选址，陆军大学在南京成立，后改名为南京军事学院，成为新中国第一所高等军事学院，为新中国培养很多优秀的将领。