《旧唐书·高祖本纪》记：“（大业）十三年秋七月，高祖率兵西图关中……发自太原……隋武牙郎将宋老生屯霍邑以拒义师。会霖雨积旬，馈运不给，高祖命旋师，太宗切谏乃止。有白衣老父诣军门曰：‘余为霍山神使，谒唐皇帝曰，八月雨止，路出霍邑东南，吾当济师’……八月辛巳，高祖引师趋霍邑，斩宋老生……十一月丙辰，攻拔京城。”
武德年间，唐高祖“感神大恩，敕于山麓建寺，赐额‘兴唐’”。然亦有一说，为贞观元年唐太宗李世民敕建兴唐寺以报神恩，派五百人修了三年而建成，并植四株油松于寺门两侧。北宋时，兴唐寺被改名为崇胜院。金熙宗时毁于兵燹，后重建，元明时恢复兴唐寺名。明末一度荒废，时人有诗云：“碑生苔藓无全字，树杂隋唐不记年。僧舍数椽流水外，山云一抹夕阳前。”
清康熙年间虽经重建，但亦敌不过岁月的荒芜，现除清代修建的藏经楼残留外，其余尽毁。据说留存有李世民所植的一株油松，高十四米，径三米，树干向西北倾斜。