杜伏威欣然答应，当即引众来投，命辅公祏整肃军队屯驻赵破阵营外，亲带十个将士赍持牛酒进见。赵破阵大喜，亲迎杜伏威入帐，召集所有头目，盛宴以待，尽情痛饮。杜伏威在席间暴起，斩杀赵破阵，然后兼并其部。
从此杜伏威实力大增，于是自称将军，纵横淮南，威胁江都。其后更以伏兵计烧死江都校尉宋颢，又屠安宜城。江左诸郡，无不谈杜而色变。
大业十一年十月，东海李子通被左才相嫉恨，率所部万余人来投。
杜伏威当然高兴，待若兄弟。未料李子通不肯屈居人下，竟突然发动兵变，妄图吞并杜伏威地盘及部众。杜伏威身负重伤，全仗养子王雄诞背负逃走，侥幸躲过追杀。
闻说杜伏威兵败势危，江都隋军也来进攻，杜军再败。
此时杜伏威重伤未愈，又全仗部将西门君仪之妻子勇而多力，背负杜伏威夺路而逃。王雄诞领敢死队拼命断后，杜伏威这才又逃得一命。连续两次死里逃生，杜伏威实力大弱，只好四处游击，不断吸收流民加入，经过半年恢复，才复拥众数万。
于是控制江都附近六合县，以为根据地。与此同时，左才相往来淮北，李子通占据海陵，都有数万兵力，与杜伏威三足鼎立于江淮一带。
大业十二年七月，杨广巡幸江都。为保障皇帝安全，隋朝虎牙郎将公孙上哲率军前往镇压江淮群盗，先与杜伏威战于盐城。
只经一战，公孙上哲军被全歼。大将陈陵带八千精锐复来，与杜伏威多次交手。陈陵军强器锐，杜伏威连连失利；但陈陵兵力不多，双方打成僵持。
同年十二月，隋炀帝车驾到达江都，护驾骁果军十余万人，声威赫赫。
论说杜伏威此番若不远遁，必然难逃灭亡。不料正逢荒年，百姓饥谨，遍地揭竿而起。杜伏威乘机吸收大批饥民入伙，势力反而迅速膨胀。
陈陵见战局不利，因此龟缩江都不出，任由杜伏威耀武扬威。杜伏威以妇女衣裳相赠，以激将法诱出陈陵，将其全军覆没，陈陵单骑逃回江都。
杜伏威趁势占据高邮、历阳等重镇，并在历阳自称总管，封结义兄弟辅公祏为长史。
由于本身深受赋