直至年关将近，才返山休整。未歇及半刻，那岳易之已提着剑，前来约战。黄、李、韩、岳四人在山巅之上拆斗了半日，围观弟子众多，交头接耳，好不热闹。黄玄感夫妇久不练剑，稍显生疏，半日下来，已显吃力。韩、岳乘胜追击，终于打败夫妇两人。
岳易之心中积压了十余年的怨气，终于得以雪耻，自是得意非凡。当晚便设宴招待山中弟子，大肆庆祝。酒过三巡，便口出狂言，竟称黄玄感所学剑法非正派武林所传，歪门邪道，难登大雅之堂。劝诫弟子们莫去效仿李素手。此言一出，迅速传遍了山巅上下。
黄玄感和李素手听闻岳易之之言，怒火中烧，不待天明，便提着佩剑将岳易之从床上揪了起来，三人剑拔弩张，互不相容，至此便结下了梁子。掌门陈煌近费尽心力，耐心调解，方才平息了三人的怒气。然而黄玄感夫妇已不愿再与岳易之共处一山，遂收拾行囊，拂袖而去，誓不再踏衡山一步。