上官桀和桑弘羊被杀之后，汉昭帝对霍光越发信任，朝廷大事都由霍光决断。霍光历经两朝而不倒，自然是一个极厉害的人物，岂能不明白高处不胜寒的道理？只是他先后辅佐两位皇帝，即便无心结党，身边也聚集了一大群朝廷官员，这些人惟霍光马首是瞻，已成依附之势，就算霍光心生退意，这些官员为了自己的官职和身家性命，绝对不会让他离开朝廷。而霍光辅政多年，得罪的官吏着实不少，何况上官桀和桑弘羊虽然已经伏诛，但是两人同为辅政大臣，投靠他们的官员何止数百？二人虽然被霍光除掉，但是许多同党仍然藏匿在朝廷之中。这些人恨霍光入骨，无一日不想报复，霍光若是失了权柄，只怕杀身之祸立至，是以他虽然知道把持朝政风险极大，后患无穷，可是被形势所逼，既不容他独善其身，更不容他激流勇退，只能在朝廷上勉力支撑，不敢有丝毫马虎。
后来汉昭帝驾崩，因为他没有儿子，是以霍光与太后和朝廷重臣商议，决意迎立汉武帝的孙子、昌邑王刘贺继位做皇帝。但是刘驾登基二十七天之后，霍光以刘贺荒淫无道为缘由，请求太后废除刘贺。其时霍光独揽朝政大权，朝廷重臣几乎都是霍氏一党，太后自然不敢违拗霍光所请，便即废了刘贺的帝位。霍光又在朝堂上力荐汉武帝的曾孙刘病已继承帝位，太后和大臣们不敢反对，刘病已凭空捡了一个大便宜，一步登天，做了大汉皇帝。
刘病已虽然是汉室皇族，但是自幼在民间生长，从来没有进过皇宫。这是因为他是汉武帝废太子刘据的孙子。昔年刘据被汉武帝立为太子，与汉武帝的宠臣江充不和。江充害怕有朝一日刘据继位做皇帝，会对他不利，是以在汉武帝面前诬陷太子图谋不轨，以巫蛊诅咒汉武帝。其时汉武帝年纪已老，又一直担心太子背后的卫氏一家谋反，听到江充诬告太子之后，竟然对太子及其母亲卫夫子大加申斥，又派人监视卫氏一族。太子见此情形，只道汉武帝不顾骨肉之情，想要害死自己，都是江充这个小人从中作恶，激愤之下竟然起兵攻杀江充。汉武帝不辨是非，以为太子兴兵是要夺取皇位，将太子视为叛逆，下旨围杀太子。太子兵败逃走，最后被迫自杀。汉武帝兀自不解气，称死去的太子刘据为戾太子，还要杀掉他的家人。刘据的儿子刘进被侍卫救走，藏匿在民间，侥幸保全了性命。刘病已是刘进的儿子，自幼跟随刘进东躲XZ，历尽了艰辛，若不是汉武帝后来知道自己上了大当，误杀了太子刘据，这才没有继续追杀刘据的家人，只怕刘进父子早已被杀了。
霍光废了刘贺的帝位，朝廷