后上官桀妻子的父亲宠爱的一个名充国的人犯下死罪，是鄂邑长公主替充国交纳二十匹马以赎罪，才免去他的死罪。上官桀父子为此感激公主，怨恨霍光。再加上有了宫中皇后的关系，上官家父子不愿意霍光独揽朝政，开始与他争夺权利。
燕王刘旦因为没有继承帝位，心怀怨恨，恰巧御史大夫桑弘羊居功自傲，想为自己的子弟谋官被霍光拒绝，也对霍光怀有不满。最终上官桀父子联合鄂邑长公主、桑弘羊以及刘旦共同谋划，打算杀掉霍光。刘旦派十多人送来大量的金银珠宝，贿赂鄂邑长公主等人，借此获取他们的支持。他们派人趁霍光休沐时，假借燕王的名义向刘弗陵上疏，揭露霍光的“阴谋”，称霍光专权放肆，出行的仪仗宛如帝王，恐有不良企图。上官桀等人想要让刘弗陵直接从宫中发下奏书，然后由桑弘羊联合朝臣共同胁迫霍光退位。然而，刘弗陵收到奏书却没有下颁。
第二天早上，霍光听闻此事，停留在殿前的画室中，没有进去拜见刘弗陵。刘弗陵询问霍光何在，上官桀趁机进言，称霍光因为燕王告发罪行，不敢来上朝。刘弗陵下令召见霍光，他一进殿就脱下官帽叩头谢罪。刘弗陵让霍光把官帽戴上，因为奏书所言都是假的，霍光无罪。霍光疑惑刘弗陵为何知道他无罪，刘弗陵实事求是分析后，认为燕王远在外地，不应该得知他的“罪行”，且霍光想要为非作歹，也无需大动干戈。年仅十四岁的刘弗陵经过思考，洞察这封奏书乃是谗言，左右大臣都感到吃惊。这时呈上奏书的人已经逃跑了，刘弗陵下令官府紧急搜捕，上官桀等人内心恐惧，劝刘弗陵不用追究这种小事，刘弗陵执意追究。此后上官桀一党仍有人诬告霍光，刘弗陵为此大怒，下令但凡有谁诽谤他都要被治罪。上官桀等人不敢再说霍光的坏话，暗中密谋发动政变。
元凤元年(前80年）春，武都郡氐族人反叛，刘弗陵派执金吾马适建、龙侯韩增、大鸿胪田广明率领三辅地区及太常所属的刑徒前去镇压，这些