一、黄帝夜梦神人，得指南之术
相传在黄帝与蚩尤大战前，黄帝部落军队在黄羊山下扎营。夜里黄帝登高望远，却陷入迷雾之中，看不清敌军动向，军心动摇，士气低落。
黄帝一夜难眠，闭目冥思，忽梦见一位白衣老者驾龙而来，自称“天工神人”，赠予黄帝一只可自动指向南方的木车，并告诫：
“欲破蚩尤迷阵，唯借天地之正道，不可强行也。”
黄帝醒来后令工匠照梦中形制制造，终于发明指南车，成为史上最早的导航工具。依此破阵，终擒蚩尤。
后来，黄帝为报神助之恩，在梦中神人显现之地建起一座清凉的庙宇，用以祭天谢神，此为清凉寺之始。
二、蚩尤迷雾困兵，山神震怒灭阵
在蚩尤与黄帝大战时，蚩尤召唤风雨雷电、浓雾弥天，将黄帝军团困于涿鹿山地之间，寸步难行。蚩尤更命部下施“九黎蛊术”，使敌军出现幻觉、错杀同袍。
然而这场战争惊动了山神——传说中的黄羊山神，是天地之间的守护者。山神愤怒于蚩尤用妖法乱天道，于是在一夜之间挥动巨掌，呼啸山风，将蚩尤阵中的浓雾一扫而光。
黄帝军趁势反击，一举擒获蚩尤。战后，黄帝在黄羊山建庙谢山神，此庙即后来的清凉寺。在大殿右侧供奉“山神像”，香火旺盛。
三、清凉寺肉身禅师：能禅大师的传奇
据史载，清凉寺中曾住有一位高僧“能禅大师”，俗姓李，明代初年入寺修行，闭关三十年不言不语，人称“楞和尚”。
大师圆寂前向弟子言：
“山中有道，心清则凉，我身不腐，藏于钟楼，可证佛心。”
三日后圆寂，弟子依嘱将其入龛而不封土。数月后开棺，大师肉身不腐、面如生人，手结禅印。后被封为“肉身菩萨”，供奉于寺内，被视为北方三大肉身佛之一。
每年农历四月初八（佛诞日），清凉寺都会举行“肉身佛开龛仪式”，信众成千上万，香火鼎盛。
四、清凉寺藏经阁失踪之谜