武德二年，唐高祖李渊遣营州总管邓暠发兵渔阳，一战打败高开道，振旅而归。武德三年，高开道卷土重来，仍自称燕王，改年号天成，再次设置百官。
是年九月，唐将罗艺守卫幽州，被夏王窦建德军围困，遣使向高开道求救。高开道早欲与其结交，便率骑兵二千前去援助，窦建德率军撤退。
唐高祖李渊诏命高开道为蔚州总管、上柱国，封为北平郡王，并与罗艺同赐李姓。此时未知高开道作何想法，竟率轻骑五百到达幽州，欲对罗艺下手。
罗艺毫不设防，即在府中设宴与其畅饮尽欢。高开道自己良心发现，宴罢离开幽州。
武德五年，幽州发生饥荒，罗艺派遣老弱前往蔚州就食。高开道接待周到，倾其所有以供。罗艺大悦，随即调拨兵士三千，牛车数百辆、马驴千余匹前往借粮。
高开道忽然反目，北与突厥连兵，且与罗艺断绝往来，重称燕王。
同年刘黑闼进犯山东，高开道与其联合，率军进攻易州，后派部将谢棱诈降罗艺，请其派兵救援。罗艺率众接应，将到怀戎，谢棱突然倒戈，纵兵将其击破。
高开道便引突厥南侵，恒州、定州、幽州、易州等地尽遭突厥骑兵蹂躏。
突厥颉利可汗因高开道部众善用攻城器具，便命其为先锋，一道攻拔马邑。至武德六年春，突厥与唐朝议和后返师，中原群盗亦相继平定，高开道由此便欲归降唐朝。
谋士劝道：大王无故攻击罗艺，多次反复叛唐，今若归降，焉能取信李渊？
高开道闻此，于是又改其志。但其部将多是山东人，皆都思还家乡，由是渐渐离心。
武德六年五月二十八日，高开道带领奚族骑兵侵犯幽州，被唐朝幽州长史王诜打败。
时有靺鞨部首领突地稽，因曾带兵协助唐朝攻打刘黑闼，被唐高祖特许将其部落迁到幽州昌平，以为大唐北藩。
高开道带领突厥侵犯幽州，被王诜击败，复遭突地稽带兵阻截，因而大溃，势力由此大衰。是年七月，高开道掠夺赤岸镇，又劫掠灵寿、九门、行唐三县，之后率兵离去。
八月，高开道率领突厥奚族军再犯幽州，复被唐军击退。九月二十九日，高开道带