在衡州期间，曾国藩委任衡阳廪生彭玉麟、湘阴外委杨载招募水勇，湘军由此开始创立水师。
水师创建后，既缺乏资金又船炮不齐，同年11月朝廷诏令曾国藩救援湖北，曾国藩以此为由予以回绝，曾国藩还奏请朝廷拨款四万两白银作为购炮造船的经费。
至清咸丰四年，湘军共造成大小船只三百六十一号，并装备又大小炮四百七十门，其中新购洋炮三百二十门。
咸丰四年2月，曾国藩练成水陆兵勇各十营五千人。
时值太平军攻陷九江、安庆，江忠源战死庐州，太平军乘势袭扰湖南。
曾国藩遂发布《讨粤匪檄》的檄文，于2月25日从衡州出发东征，经湘潭到长沙。
太平军因寡不敌众，抛弃岳州，曾国藩便进驻岳州，肃清太平军残部，3月间率军北进，在洞庭湖被太平军击败溃后退回岳州。
太平军乘胜追击，攻入岳州，曾国藩退回长沙，太平军乘机袭取湘潭，占据长沙上游。
4月，曾国藩亲自督师，进击靖港，但适逢西南风发，水流湍急，战船不能停泊，或为太平军所焚毁，或为太平军所夺。
曾国藩接连失利于岳州、靖港，愤懑不已，遂投水自杀，幸被左右随侍救起。
接连两次战败使得曾国藩当时的声誉大有减损，曾国藩回到长沙后重整水陆各军，并在衡州、湘潭开设船厂，继续造成；
溃败的各军，曾国藩另募新勇，进行训练。
两次失败使得曾国藩得到了诸多的教训，积攒了实战经验，使得曾国藩明白了“兵贵精而不贵多”的道理，此后他便开始策划“减兵省食”，还确立了“早起早食，严厉营规”的要求。
“在长沙经过一番休整，咸丰四年7月，曾国藩率湘军再度出击。”
“双方在城陵矶要塞展开作战，由于湘军水师中存在着湖南人与外省人，他们互相排斥，互不救援，导致城陵矶水战太平军获胜。”
“8月11日，塔齐布率湘军陆师赶到城陵矶，大败太平军曾天养部，曾天养战死，太平军遭受打击，军中大乱，遂退向武昌。”
“城陵矶大战之后，曾国藩水师顺流而下进抵武昌，陆军则兵分两路，一路攻洪山、一路攻花园。”