便上书说：我一直以为我的才智低下，又没有什么汗马功劳，是陛下格外施恩，把我从行伍中破格提拔上来，封为列侯，位居三公之职。我的德行才能都不足以和职位相称，平素又多病，恐怕不久将离于人世，最终无法报答陛下的恩德，尽臣子之责。我希望交回侯印，辞官回家，给那些贤者让位。
汉武帝答复说：奖赏有功的人，表彰有德行的人，守住先人的事业要崇尚文治，遭遇祸患就要用武功，这是千古不变的道理。你行事谨慎，憎恨丑恶的人，弘扬善良的人，常在我身边，是值得信赖的人。如今你偶感风寒，何愁不愈？却上书要退回侯印，辞官归家，这是彰显我的无德呀！你不要有太多的顾虑，安心养病，一定会好起来。
汉武帝准许公孙弘继续休假，并赐给他酒肉和布帛。