蒋说：“上海是一个所有国家的人汇集的地方，如果我们这儿的人不守秩序的话，那么，我们的任务将变得倍加艰难。上海的环境太糟糕了，大部分驻扎在此地三个月或者最多半年的军队都要变得士气低落，软弱无力。因此，我们这些军官必须下决心控制好部队，使士兵免受各种诱惑，约束他们的恶习，并为我们的士兵树立榜样。”
几天后，当蒋回到南京时，他决心采取无情的行动，枪决了50名士兵，因为他们被指控参与了头一年反对外国的暴乱。此外还有很多人遭到军事逮捕。
这便是他向外国势力保证不再干扰他们的方式。他希望与他们的接触范围缩小而不是疏远。随后，他又正式向他们保证，在北伐期间将不会再有任何反对外国人的暴行。接着，他呼吁外国停止向军阀提供武器和资金，因为那样会延长内战。
3月底，蒋把他的指挥部移到了徐州，这是北伐第二阶段国民军前进所至的最北处。他把他的部队在扬子江的北岸按东西线部署。大约有70万人听从他的指挥，这是第一次北伐军队的近7倍。而他面对的是张作霖的40万人马——由他的儿子张学良（“少帅”）指挥，另外6万人由别的将领指挥。
4月7日，蒋宣布发起总攻，他的战略很清楚，而且最初是严格按照计划进行的。主力部队是他自己的一路军，沿着津浦线向北挺进。与此同时，冯玉祥的二路军和阎锡山的三路军分别从南部和西部进攻河北，把东北军阀的部队从主战场牵制过来。进攻开始后的第21天，国民军开进了山东省会济南。
然而在济南，他们受到了一个新的意想不到的敌人——日本人的阻拦。日军的一系列暴行是由所谓的“济南事件”引起的。
日本人曾一度为蒋感到一丝骄傲，因为蒋受的是他们的那套严格的军事训练；但现在他们却把蒋看成是对他们掠夺北方计划的一个威胁，应该以某种方式控制住蒋，否则他要把日本的保护对象——张作霖赶出北京。
日本人制造“济南事件”是因为在那里有重要的商业利益。根据1919年的一个协议，日本已接管了德国在山东的特权。中国还没有承认这一现状，日本却决定行使这一权利，并把它作为阻挠国民党北伐的理由。所以，他们向这个城市派驻了大量部队。