然而，巨灵神的行事风格并非总能得到天庭众神的理解。
在一次蟠桃盛会筹备期间，巨灵神负责搬运蟠桃等珍馐，因他身形巨大，动作难免粗放，不小心碰坏了一些器物。
有几位仙官借此向天帝进谗言，说巨灵神恃才傲物，不把天庭规矩放在眼里。天帝虽未即刻惩处，但也对巨灵神有了微词。
不久后，天庭与花果山孙悟空起了冲突，天帝派巨灵神打头阵，前去捉拿孙悟空。
巨灵神领命下凡，来到花果山，只见孙悟空手持金箍棒，威风凛凛。
巨灵神虽知对手不凡，却也不惧，抡起宣花斧便向孙悟空砍去。
孙悟空身形灵活，轻松躲过巨灵神的攻击，还嬉笑调侃：“你这大块头，空有一身蛮力，怎及俺老孙的神通！”
巨灵神闻言，怒从心头起，他加大攻击力度，每一斧都带着千钧之力，开山裂石。
两人你来我往，激战数十回合，花果山被搅得地动山摇。
但孙悟空本领高强，巨灵神渐落下风，最终宣花斧被金箍棒击飞，他本人也败下阵来。
回到天庭，巨灵神本以为会受到重罚，可天帝念及他过往功绩，只是斥责几句，命他日后将功赎罪。
巨灵神心中虽有不甘，却也明白自己大意轻敌。
此后，他更加刻苦磨炼，不仅提升神力，也钻研战术技巧。