后元二年二月，汉武帝这位伟大的君主在他弥留之际立刘弗陵为太子，并且立霍光（大司马大将军）、金日磾（车骑将军）、桑弘羊（御史大夫）、上官桀（左将军）为顾命大臣，其中霍光为首辅大臣。

这四位达成前几年还可以，相处的比较融洽。金日磾是金日磾去世的比较早，他原是匈奴王子，后来被汉朝俘虏，但是一直对汉武帝忠心耿耿，所以成为了托孤大臣，由于去世比较早，所以金日磾的结局也比较好。汉昭帝始元元年九月(前86年)，辅政了一年多的金日磾病重不治而世。享年四十九岁，大汉朝廷为他举行了隆重的国葬，陪葬茂陵，谥号“敬侯”。

随着相互之间的权利交锋，辅佐之臣之间的矛盾也逐渐加大，最后形成了霍光与上官桀、桑弘羊两个相对的利益集团。上官桀想让他的孙女当皇后，遭到霍光反对，转身走了盖长公主的门路，成功了!上官桀想为公主的情夫谋取官职，霍光又一次反对，从此两人结怨成政敌！桑弘羊又不甘心屈居霍光之下，又想为自己的子弟谋官，也遭到霍光的拒绝，因此更加敌视霍光。桑弘羊和上官桀不仅仅与霍光矛盾重重，而且他们还勾结燕王，妄想推翻霍光及汉昭帝，不过汉昭帝虽然年轻，但是却看得很清楚，所以支持霍光。最终上官桀、桑弘羊密谋造反被霍光识破，上官桀被灭族燕王被杀。桑弘羊和长公主自杀身亡。

桑弘羊等人叛乱被灭后霍光全面掌权，后来汉昭帝早逝，霍光又汉武帝的孙子刘贺为帝，刘贺荒淫无度，霍光与大臣们奏明皇太后，废刘贺，另立汉武帝的曾孙刘询为帝，这就是汉宣帝。汉宣帝地节二年(公元前68年)霍光病逝，汉宣帝也是给了霍光很多荣耀，但是在霍光去世之后，汉宣帝便因为霍光女儿杀死皇后的原因，将霍光家灭族了。