可是王錱运气不好，咸丰四年(1854)二月初次出兵去打太平军，他就吃了一个大败仗。战场上受挫还不算倒霉，最不幸的是他当时跟曾国藩的湘军同路进兵，而曾国藩也是出师不利。从表面上看，似乎是王錱的失败影响了曾国藩，使湘军第一次出征大损形象。这就给王錱招来了曾国藩的怒气。

那时太平军围攻武昌，派兵南攻岳州，接着南下湘阴，派兵登陆，攻占宁乡。曾国藩亲自带领一万七千人从衡州北上，骆秉章则令王錱率所部北进湘阴。太平军见官军大举北上，自动撤出湘阴和岳州。王錱击败湘阴本地会党后，立马进驻岳州。由于轻敌，他继续挥师北进，打算一口气收复湖北的崇阳与通城。他派出的前锋在羊楼司遇到了太平军南下攻击的大部队，交战之后，湘乡勇稍稍退却。王錱带领主力赶到，将太平军击退，救出了前锋。但此时天色已晚，湘乡勇已经饥疲不堪，太平军主力从四面杀来，使湘乡勇受到重创。太平军当即上船，乘北风向岳州驶进，王錱急忙回军岳州守城。曾国藩的部将邹寿璋告诫王錱，说岳州已是空城一座，没有粮食，无法防守。王錱不听，执意要守。第二天，太平军主力开始攻城，王錱出城迎战，又被太平军击败。

太平军加紧攻城，切断了王錱与曾军的联系。湘乡勇一天没有进食，跟着王錱凭城鏖战，毫无获胜的希望。王錱派人给曾国藩的水师送信，请求他们登岸夹击。但是曾军水师遭到大风破坏，损失了一半实力，已经南撤，无法前来增援。湘乡勇又累又饿，难以坚持抵抗。曾国藩派船来接他们撤走，王錱羞愤交加，打算自刎，被部众簇拥突围而出。这一仗，营官钟近濂、刘恪臣等十几人阵亡，他们都是带兵的书生，王錱的好友。王錱写信给骆秉章自请处分，请求让他收集溃散的士卒，继续投入战斗。骆秉章奏报朝廷，得到批准：“王錱轻进失利，着即革职。该员平素剿贼尚属奋勉，着准其带勇，效力赎罪。”