这一次，因为桓玄之故，杨佺期出兵助力王恭，最后弄的一地鸡毛。出兵之时，父亲杨亮便命人前来训斥他不该掺和此事，不要惹火上身，杨佺期没有听。以至于撤兵之后，杨亮恼怒杨佺期之前的自专，数月不肯见他。杨佺期自己也后悔之极，不该淌这趟浑水。
是以，当司马道子提出让他任梁州刺史之后，杨佺期立刻便明白了司马道子的用意。深思熟虑之后，他决定退让，以消弭司马道子的敌意。这件事是因殷仲堪而起，现在殷仲堪居然写信来训斥他，杨佺期岂会给他好脸。
杨佺期在给殷仲堪的信上言道：“我因父丧，回梁州守丧，此乃人子之伦，孝道之常，汝以小人之心度之？何其无理也。汝言我畏惧司马道子，却不知京城之下，谁人同司马道子订下盟约，弃王恭于不顾？本人出兵，乃南郡公之邀，为你助力。尔何讹诈于我，反将以此胁迫于我？何其无行也。先帝于尔有恩，你既怀疑先帝之死有疑，何不出兵伐之？反倒同司马道子妥协，何其不忠也。尔当自省，而非指责他人。本人守丧孝父，切勿扰之。”
这封信怼的殷仲堪灰头土脸，恼怒不已。确实，他殷仲堪确实在荆州根基不深，杨佺期跟自己也没有交情，他根本不鸟自己。但话说的这么难听，着实让人愤怒之极。自己好歹也是荆州刺史，都督周围各郡军事，却被他们无视，这着实令人愤怒。
气愤不过的殷仲堪想到了桓玄，他想请桓玄前来，和他商议，利用桓玄的名义去压服杨佺期。但是桓玄却蜿蜒拒绝了他。之前他对桓玄无礼，桓玄是睚眦必报之人，嘴上不说，心里却记着仇，便让殷仲堪碰了一鼻子灰。更别说，因为出兵之事，杨佺期对桓玄也很不满，桓玄更是不肯此时再来为殷仲堪说话了。得罪了父亲的旧部，对自己能有什么好处？
殷仲堪越发感受到了自己在荆州被孤立的事实，心中甚为恼怒。自己出身寒微，那桓玄在江陵城中前