霍光并不是笨蛋，他深知自身权力之大肯定为皇帝所不容。于是安排他儿子霍禹、侄孙霍云为中郎将，统率宫卫郎官；霍云的弟弟霍山官任奉车都尉侍中，统率禁卫部队胡越骑兵；两个女婿分别担任东宫和西宫的卫尉，掌管整个皇宫的警卫；堂兄弟、亲戚也都担任了朝廷的重要职位。

也就是说，皇帝的小命被霍家捏在手里，皇帝稍微不对眼，霍家立刻可以干掉皇帝。

但是霍家这几个人实在不像样子。霍光在四十多年间都是帝国最最风云的人物，他本人从贫二代逆袭成了富一代，把艰苦奋斗的优良传统忘得一干二净，一心只想着怎么让子孙们养尊处优一万年，对后代的家教就谈不上了，完全是纵容。

霍禹、霍山染上了收藏豪宅的爱好，违法乱纪的事情干起来如同家常便饭。霍云更不像话，年轻轻的就学会了称病不朝，连面都不给皇帝见。后来更夸张，直接打发一个家奴代替他上朝。

霍云的舅舅叫李竟，他有一个好友叫张敖，他向李竟建议说：现在是丞相魏相和许广汉（许皇后之父）在掌权，只要让霍显去跟上官太后讲（上官太后是霍光的外孙女），把这两个人杀了，然后把汉宣帝废黜掉，立个新皇帝。李竟被捕入狱后，就将霍家给供了出来。汉宣帝就下诏说：霍云，霍山不适合在宫中宿卫了，免职回家吧。山阳太守张敞向汉宣帝上表：我建议陛上将霍官的官职都免除了，让他们以侯的身份回家。然后再下诏，宽恕他们。这样天下的百姓就知道，您没有有忘记霍光对您的大恩的，这个是万全的办法。汉宣帝表面说好，但实际上没有任何表示。

霍家又想了一计，让上官太后宴请博平君王媪（汉宣帝的外祖母），让丞相魏相与许广汉作陪，然后让人趁机杀死这两人，废黜汉宣帝，立霍禹为皇帝。这个计划还没有实施，霍云就被任命为玄菟太守，任宣被任命为代郡太守。

没过多久，他们的计划被发觉了，霍家相关人都被处死，只有霍皇后被废黜了，然后幽禁于昭台宫。