次子李椒曾做过代郡太守，但也先于李广而死。李广在军中自杀时，三子李敢正跟随骠骑将军霍去病。李敢以校尉官职跟随霍去病将军攻击匈奴左贤王，李敢作战英勇，夺得左贤王的战鼓与军旗，斩杀匈奴无数，被封为关内侯，食邑二百户，接替李广为郎中令。
不久李敢听父亲的部将说，父亲的死是因为受到了大将军卫青的刁难，才忍气自杀的。李敢恨怨大将军卫青，便把卫青打伤了。大将军把这件事隐瞒下来，没有治李敢的罪。
霍去病是大将军卫青的外甥，听人说李敢竟以下犯上，打伤了大将军，便要为舅舅出气。李敢随皇帝去甘泉宫打猎，霍去病一箭射中李敢要害，当场死亡。
霍去病抗击匈奴战功显赫，正受皇帝宠爱，皇帝让人隐瞒事实真相，说李敢是被鹿撞死的。李广和三个英雄的儿子都不在了，李氏家族日渐衰败。但李广的威名永在，千古传闻。