婴齐在长安做宿卫时，娶了邯郸樛家女子为妻，生个儿子叫赵兴。待到他即位，便向汉天子上书，请求立妻子樛氏为王后，赵兴为太子。汉朝屡次派使者婉转劝告婴齐要入朝拜见天子，婴齐喜欢自己掌握生杀大权，惧怕进京朝拜天子，会被强迫和内地诸侯一样，执行汉朝法令，因此也推托有病，不肯入京，只是派儿子次公入京当宿卫。
婴齐死后，太子赵兴即位，他的母亲樛氏做了太后。樛氏在没嫁给婴齐做妾时，曾经同霸陵人安国少季通奸。等到婴齐死后，汉朝派安国少季前去规劝南越王和太后，让他们依照内地的诸侯，进京朝见皇帝。并命大夫终军拿着诏令，宣谕南越王。
安国少季做为汉朝使臣，来到南越国与太后再次相遇，又旧情复燃。因太后是中原人的原因，南越人大多不依附太后。太后害怕发生动乱，就想依靠汉朝的威力，来巩固自己的势力。就屡次劝说南越王和群臣请求归属汉朝，又通过使者上书天子，请求和内地诸侯一样，每隔三年入朝一次，撤除边境关塞。
天子随即答应了他们的要求，赐给南越丞相吕嘉一枚银印，也给内史、中尉、太傅等都赐了官印，其余的官职由南越王自己委任。废除了南越国的法律，沿用汉朝的法律，和内地诸侯一样。使者都留下来安抚南越。南越王及太后开始准备行装和礼物，为入朝做准备。
南越丞相吕嘉年纪大了，辅佐过三位国王，他的宗族内当官做长史的有七十多人，男子娶的都是王室女子，女子嫁的都是王子及其兄弟宗室之人，同苍梧郡的秦王也有联姻关系。吕嘉在南越国地位非常显要，南越人民都很信任他，比南越王还得民心。
当南越王要上书天子，要求内附时，他屡次劝阻，但国王没听。他因此产生了反叛的念头，多次托病不去会见汉朝使者。使者也都注意到吕嘉这个人，只是因为形势的关系，没有诛杀他。
南越王和太后害怕吕嘉先动手，就设置酒宴，想借助汉朝使者的权势，除掉吕嘉等人。宴席上，使者面朝东而坐，太后面朝南，南越王面朝北而坐，丞相吕嘉及大臣都面朝西陪着一起饮酒。吕嘉的弟弟是将军，率军守候