咸宁四年（278年）八月，羊祜染病，请求入朝。返回洛阳时，正逢同母的姐姐羊徽瑜逝世，他悲痛万分，病情更加严重。司马炎命羊祜抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向司马炎陈述了伐吴的主张。后来，羊祜病势加重，已不能入朝，司马炎专门派中书令张华前去咨询方略，羊祜对张华说：“当今主上有受禅让的美名，但功德尚未着称于世，吴人暴政已到极点，此时伐吴可不战而胜。统一天下而兴办文教，则晋主可比尧舜，而臣下犹如稷契，这是百代难逢的盛事。如果放过这个机会，孙皓或不幸死去，吴人另立英明君主，虽有百万大军，长江是难以越过的，这不是留下后患吗？”张华很赞赏羊祜的主张。羊祜又对张华说：“能实现我这个愿望的是你啊！”司马炎打算让羊祜卧病统领征吴诸将，羊祜说：“取吴不必我亲自参加，但平吴之后还要圣上操心去治理啊！关于功名的事，臣不敢自居。若我的一生即将完结，应当将未成事业托付他人，希望能审慎选出这个人。”同年十一月，羊祜病逝，享年五十八岁，并在临终前举荐度支尚书杜预自代。
羊祜死后，晋武帝司马炎亲着丧服痛哭，时值寒冬，司马炎的泪水流到鬓须上都结成了冰。荆州百姓在集市之日听说羊祜的死讯，纷纷罢市痛哭，街巷悲声相诉，连绵不断；吴国守边将士也为之落泪。随后，司马炎下诏追赠羊祜为侍中、太傅，谥号为“成”；赐“东园秘器，朝服一袭，钱三十万，布百匹”。
羊祜为人清廉节俭，服饰简易朴实，所得俸禄都用来接济亲族，赏赐军士，家中无余财，临终遗嘱，不能将南城侯印置入棺材。从弟羊琇等向司马炎陈述羊祜平生的志愿，要求葬在先人墓旁，晋武帝司马炎不许，将离洛阳城十里外的一顷地赐给羊祜作墓地。羊祜的灵柩及送葬队伍出发时，晋武帝司马炎在洛阳的大司马门南边奠祭送行。羊祜的外甥、齐王司马攸又在奏表中替羊祜之妻夏侯氏表明其家不愿以侯礼安