1854年6月，曾国藩指挥水陆师两万余人，北上进攻岳州。太平天国秋官又正丞相曾天养由常德赶回岳州组织反攻。
湘潭惨败，元气大丧，太平军水陆都实力锐减。曾天养退出岳州，在城陵矶继续阻击湘军北上。他再次组织水陆军反攻，仍遭失败。几天后，曾天养得到湖北援军，第三次组织反攻，却因湘军守备杨载福乘风纵火，又遭失败。
湘军水陆师乘胜前进。此时南风大作，水师船队行驶飞速，直至城陵矶。曾天养虽屡战屡败，但仍豪气不衰。他见湘军骄傲轻敌，即先以偏师诱敌，而主力潜伏在旋湖港。
敌人中计追击前来，游击沙镇邦领头队，总兵陈辉龙率二队，船大体重，被诱进浅滩搁浅起来，进退两难。曾天养就指挥伏船出击，全部、彻底歼灭了陈辉龙、沙镇邦所带的水师船只。水师总统、知府褚汝航、同知夏銮闻讯来救，也因陷入重围，被一一打死。
曾国藩湘军水师刚开始装备就很精锐，配备有从澳门向葡萄牙购置的大炮；水师将士也是经过认真挑选的，现在仅在一天战斗当中就都毙命了，弄得曾国藩又是十分伤心。
两天后，曾天养率军3000人从城陵矶登岸，打算安寨扎营；忽见南面烟尘大起，原来是破格擢升的新授署湖南提督塔齐布率领湘军陆师赶到。曾天养来不及布阵调遣兵将，当即跨上黑马，手执长矛，直冲塔齐布而来；塔齐布来不及遮挡，被一矛刺中座马。曾天养准备抽矛再刺，不料紧随塔齐布的亲兵黄明魁急以长矛反刺；曾天养来不及转身，便被一矛刺中，跌于马下，惨遭杀害。
曾天养之死是西征太平军的一大损失。太平天国从来宣扬人死是“升天”，不能悲哭，不能做丧事；但对曾天养之死却破了例，两湖太平军连续吃素六日以悼念他。
曾国藩也因率湘军出境时吃过曾天养的亏，此后牢记不忘。后来还几次对被俘的李秀成说：“其人是一好手，资格最深。”