汉武帝晚年好事鬼神，妄求丹药和长生之法，与太子刘据有怨的佞臣水衡都尉江充便借着这股迷信之风骗病重崇信巫蛊的汉武帝，皇帝得知被骗之后便派江充为使者整治巫蛊，江充却将巫蛊嫁祸给卫青的亲信以及皇后、太子，太子刘据起兵诛杀江充以后在武帝的追捕下自缢而死。
武帝得知刘据原是被陷害的以后也是后悔万分，之后数年之间没有另立太子，燕王刘旦、广陵王刘胥又有许多过失不得圣意，恰逢宠姬钩戈夫人赵婕妤生了一个男孩，皇上认为他体格健壮、聪明伶俐颇有其少年之风，所以对他甚是宠爱，并且有意将皇位传于他。在朝廷中，皇帝观察只有霍光可当托孤重臣，说过“察群臣唯光任大重，可属社稷”这样的话。又叫宫廷画师画了一张周公背着成王接受朝贺的画。后元二年（前87年）的春天，皇上出游五祚宫病重，霍光很担忧，流泪询问皇帝说假设皇帝有了意外，谁应当继承皇位。皇帝回应霍光应明白上次绘图的心意，武帝的决定便是要立幼子刘弗陵，让霍光来做周公做过的事。
于是汉武帝便任命霍光为大将军，与金日磾、上官桀、桑弘羊一起担任辅君的使命。武帝驾崩后，太子刘弗陵承袭皇位称为孝昭皇帝。
辅佐昭帝，由于武帝对霍光尤为青睐，在朝堂之上不久便形成了“政事壹决于光”的局面。因上官父子两次替长公主宠幸的丁外人求职、请求封侯，都被霍光拒绝。上官家因此怀恨在心。后来上官的党羽在宣帝面前诽谤霍光，宣帝怒斥道：“大将军忠臣，先帝所属，以辅朕身，敢有毁者坐之。”上官桀等人在皇帝面前失去了关于霍光事件的信任之后就转变了策略，他们密谋让长公主摆酒席请霍光赴宴准备埋伏士兵袭击，并且借此废除昭帝，迎立燕王为太子，事情被霍光识破，上官父子、桑弘羊、丁外人及其家族全部被霍光诛杀，燕王、长公主自杀。
经过此事之后，朝廷上下再无制衡霍光的政治势力和人物，霍光的儿子霍禹和侄孙霍云担任中郎将，霍云的弟弟霍山不光担任霍光曾经担