几年后，犯法免官，以百姓身份在长安居住。灌夫尚游侠，家产数千万，食客每日数十百人，横暴颍川郡。交好魏其侯窦婴，后来在丞相田蚡的婚宴上，因田蚡、程不识和灌婴本家的灌贤看不起他与窦婴，灌夫痛骂诸人，因此论不敬之罪，被斩杀，更因族人横暴被灭族。
灌夫，父亲是张孟，曾经做过颍阴侯灌婴的家臣，受到灌婴的宠信，便推荐他，官至二千石级，所以用灌氏家的姓叫灌孟。吴楚叛乱时，颍阴侯灌何担任将军，是太尉周亚夫的部下，他向太尉推荐灌孟担任校尉。灌夫带领一千人与父亲一起从军，灌孟年纪已经老了，颍阴侯勉强推荐他，所以灌孟郁郁不得志，每逢作战时，常常攻击叛军的坚固的阵地，因而战死在吴军中。
按照当时军法的规定，父子一起从军参战，有一个为国战死，未死者可以护送灵柩回来。但灌夫不肯随同父亲的灵柩回去，他慷慨激昂地表示：“希望斩取吴王或者吴国将军的头，以替父亲报仇。”于是，灌夫披上铠甲，手拿戈戟，召集了军中与他素来有交情又愿意跟他同去的勇士几十个人，等到走出军门，没有人敢再前进，只有两人和灌夫属下的奴隶共十多个骑兵飞奔冲入吴军中，一直到达吴军的将旗之下，杀死杀伤吴军几十人。不能再继续前进了，又飞马返回汉军营地，所带去的奴隶全都战死了，只有他一人回来。
灌夫身上受重创十多处，恰好有名贵的良药，所以才得不死，灌夫的创伤稍稍好转，又向将军请求说：“我现在更加了解吴军营垒中路径曲折，请您让我再回去。”将军认为他勇敢而有义气，恐怕灌夫战死，便向太尉周亚夫报告，太尉便坚决地阻止了他，等到吴军被攻破，灌夫也因此名闻天下。颍阴侯把灌夫的情况向汉景帝汇报了，汉景帝就任命灌夫