这正是与机构设置同时并进，赵匡胤逐渐拿禁军高职开刀，什么殿前都点检、殿前副都点检、侍卫亲军都指挥使、侍卫亲军副都指挥、侍卫亲军都虞候，这五个最高级别的军职，赵匡胤有意让它长期空缺，不授予任何人。后来，他干脆把五大军职全被撤销了。
经过这一番调整，宋朝的禁军机构从“二司”逐渐过渡到“三衙”制，形成殿前司、侍卫马军司、侍卫步军司“三衙”鼎立的格局，长官分别为殿前都指挥使(殿帅)、侍卫马军都指挥使(马帅)、侍卫步军都指挥使(步帅)，从此“三帅”各管各的，互不统属，谁也管不了整个禁军，都听命于皇帝一人。
就这样，赵匡胤一步步地将原本那些位高权重的禁军职位或撤销、或虚置、或削权，朝野内外再也没有权势彪炳，能够威胁到皇权的骄悍武将。
这一切改革的核心目的，都是抑制单个机构、职位、将领的权柄。而禁军“衙”中没有老大，没有话事人，没有任何一个武将能够独掌大权统辖整个禁军，因为大权牢牢掌握在皇帝一人手中。
“朕在皇城，足不出宫，就能统摄禁卫军、亲卫军了，免得这些高级将领，威胁皇权，对朕不利。”
赵匡胤坐在御书房内感慨，他很满意这个改制，接下来，又对皇城外的各地驻军兵权下手，开始拆兵权，就是把握兵之权、调兵之权、统兵之权相分离。
这是宋朝兵制改革的重头戏，把兵权的再分割，赵匡胤下令一刀切下，兵权这个笼统复杂的大概念，被细分为握兵权、调兵权与统兵权。
所谓握兵权，也称掌兵权，掌握在禁军“三衙”手中。
三衙负责军队的日常训练及管理，包括禁卫成守的统筹安排、全军将士的升迁赏罚等，只要不打仗，禁军士兵平时都归属于“三衙”，此“三衙”被视为拥有“握兵之重”。
但战事一起，情况马上就不一样了，因为“三衙”无法在战时来调遣军队，没调兵权。
这调兵权也称发兵权，掌握在枢密院手中的权力。枢密院是朝廷内阁中的最高军事机构，总理兵政，掌管全