河南郡府审问刘建，他供出了刘迁及其朋党，刘安担忧事态严重，意欲举兵反叛，就向伍被问道：“汉朝的天下太平不太平？”伍被回答：“天下太平。”淮南王心中不悦，对伍被说：“您根据什么说天下太平？”伍被回答：“臣私下观察朝政，君臣间的礼义，父子间的亲爱，夫妻间的区别，长幼间的秩序，都合乎应有的原则，陛下施政遵循古代的治国之道，风俗和法度都没有缺失。满载货物的富商周行天下，道路无处不畅通，因此贸易之事盛行。南越称臣归服，羌僰进献物产，东瓯内迁降汉，朝廷拓广长榆塞，开辟朔方郡，使匈奴折翅伤翼，失去援助而萎靡不振。这虽然还不赶不上古代的太平岁月，但也算是天下安定了。”
刘安大怒，伍被连忙告谢死罪，刘迁又对伍被说：“崤山之东若发生兵战，朝廷必使大将军卫青来统兵镇压，您认为大将军人怎样？”伍被说：“我的好朋友黄义，曾跟随大将军攻打匈奴，归来告诉我说：‘大将军对待士大夫有礼貌，对士卒有恩德，众人都乐意为他效劳。大将军骑马上下山冈疾驶如飞，才能出众过人。’我认为他武艺这般高强，屡次率兵征战通晓军事，不易抵挡。又谒者曹梁出使长安归来，说大将军号令严明，对敌作战勇敢，时常身先士卒。安营扎寨休息，井未凿通时，必须士兵人人喝上水，他才肯饮。军队出征归来，士兵渡河已毕，他才过河。皇太后赏给的钱财丝帛，他都转赐手下的军官。即使古代名将也无人比得过他。”刘安听罢沉默无语。
刘安眼看刘建被召受审，害怕国中密谋造反之事败露，想抢先起兵，但是伍被认为难以成事，于是刘安再问他道：“您以为当年吴王兴兵造反是对还是错？”伍被说：“我认为错了。吴王富贵已极，却做错了事，身死丹徒，头足分家，殃及