裴蕴以门荫入仕陈朝，起家于直阁将军，出任兴宁县令。隋灭陈之战后，历任上仪同、开府、直棣等州刺史。
隋炀帝杨广即位后，拜为太常少卿，迁民部侍郎，复迁御史大夫。参与攻打辽东，并随驾游幸江都。自擢授御史大夫，便与裴矩、虞世基同掌机密。裴蕴善伺天子人主微意，若是皇帝欲怪罪之人，则曲法顺情，锻成其罪。倘是皇帝欲包庇者，则附从轻典，因而释放。
炀帝因此便将大小之狱都交付给裴蕴审理，宪部大理莫敢与夺，必禀承裴蕴进止，然后决断。裴蕴极善机辩，所论法理口若悬河，或重或轻，皆由其口，剖析明敏，时人不能致诘。
杨玄感造反之时，炀帝遣裴蕴鞠推其党羽，裴蕴领会上意，皆以峻法治之，所杀戮者多达数万人，只要多少有所涉及，并皆籍没其家，由此获财颇丰。
炀帝大为称善，因此赏赐裴蕴奴婢十五口。
司隶大夫薛道衡因忤帝旨获谴，裴蕴奏道：薛道衡负才恃旧，有无君之心。见诏书每下，便腹非私议，推恶于国，妄造祸端。论其罪名，似如隐昧，源其情意，深为悖逆。
炀帝赞道：我少时与此人行役，彼轻我童稚，便与高颎、贺若弼等外擅威权，自知罪当诬惣。赖天下无事，未得反耳。公论其逆，妙体本心。
于是便借裴蕴诬告，就此诛杀薛道衡。
炀帝问苏威讨辽之策，苏威诡答：今者之役，不愿发兵，但诏赦群盗，自可得数十万。遣关内奴贼及山东历山飞、张金称等贼首别为一军，出辽西道；河南贼王薄、孟让等十余贼头并给舟楫，浮沧海道，必喜于免罪，竞务立功，一岁之间，可灭高丽矣。
炀帝闻言不怿道：我亲征犹未能克，鼠窃安能济乎？
苏威出后，裴蕴奏道：此老大不逊，天下何有许多贼盗！
炀帝大悟道：老革多奸，将贼胁我。欲搭其口，但隐忍之，诚极难耐。
裴蕴因知炀帝本意，遂唆使张行本诬奏苏威罪恶，炀帝命交付裴蕴推鞫，奏应处死。炀帝说道：两朝老臣，未忍便杀。
遂将其父子及孙三世除名。裴蕴为加强自己权势，令虞世基奏罢司隶刺史以下官属，增置御史百余人。于是引致奸黠，共为朋党；凡兴师动众，京都留守，及与诸蕃互市，皆令