农民起义纷起，刘黑闼投奔郝孝德，后一同归顺李密，成为瓦岗军偏将寨主。瓦岗军溃败，李密降唐，刘黑闼被王世充俘虏，便命其任骑将，守卫新乡。
刘黑闼独守一城，便脱王世充掌握，又见获嘉县被徐茂功攻取，羞于见他，便率部逃回河北，投奔故友兼恩公窦建德。
窦建德当即任命为将军，封汉东郡公，许以便宜行事。刘黑闼因不需上报，故常能突出奇兵，乘机发动猛攻，以至战果丰硕。
此后不久，河北军中皆传刘黑闼大名，称其为“神勇将军”。
武德三年正月，李世积自思既为夏王建功，遂效汉寿亭侯挂印封金，留书一封，率本部军回归长安。卫州署官持其留书上报铭州，执法官吏请杀徐盖。
窦建德说道：李世积本来便是唐朝臣子，被俘以后不叛其君，且来去明白，是忠臣也，其父又有何罪，我必杀之？
于是不杀，反与安长公主、李神通等皆待为上宾。其后唐高祖遣使结好，窦建德更释同安长公主，使其随唐使同回。窦建德为人宽容大度，深得河北人心，迥异于王世充。
其后未久，窦建德发兵攻陷赵州，生擒赵州刺史张昂、邢州刺史陈君宾、大使张道源等人。由于其三人前曾突袭夏国辖境，今日成擒，窦建德便欲杀之泄愤。
国子祭酒凌敬劝谏：桀犬吠尧，因非其主。今其固守其城，力尽被俘，是忠诚可靠之臣也。如果处死三将，则今后何以勉励臣下，拼其全力以为陛下守城哉？
窦建德怒道：兵临城下，其犹执迷不肯投降，使我损折将士军马，死罪怎能赦免？
凌敬又道：陛下前日曾使大将军高士兴为帅，在易水抵御罗艺。则罗艺军队方至，高士兴便降，陛下以为此将何如？
窦建德猛悟，遂令释放三将。
同年九月，窦建德亲自统帅部队围攻幽州。罗艺出兵迎战，大败窦建德军，斩杀一千二百人。罗艺轻易获胜，便即骄傲轻敌，随即进袭窦建德大营。
窦建德在营前摆好阵式，复埋伏精兵于战壕。两军激战半日，正当双方疲倦之际，伏兵冲出，由此大败罗