尽管红军后来想尽办法，多次突击甚至采取“火牛阵”攻城均未奏效。反因补给日益困难，而增援之敌日多，形势对红军越来越不利。在这种情况下，毛泽东和朱德以及潘心源等总前委领导说服了党中央的代表和红一方面军的少数干部，才撤出战斗。

    客观而言，攻打长沙虽是党和红军利用军阀混战的有利时机，对攻占中心城市建立城市政权并谋求成为党领导革命武装夺取全国政权所作的尝试之举。但是，面对强敌，而把分散在农村的弱小红军集中起来，进攻大城市，进而妄想“会师武汉，饮马长江”。不仅未能攻下省垣，反而导致损兵折将。仅浏阳农民自卫军就牺牲了数百人。另外因为急于组织暴动而把原来的有限力量暴露出来，先后使包括浏阳等多个县区乡的党组织遭受破坏，长沙周边党的力量从此一蹶不振。看着昔日自己亲自参与组建的党组织在“左”倾冒险主义的强令下被摧毁，而众多战友也所剩无己，潘心源不禁怒火中烧，狂呼若雷。在回师江西途中，赋词一首：

    满江红·西望长沙

    西望长沙，湘江逆流五月急，魔鬼舞，深仇似海，怒眦欲裂。洪流今又卷高潮，红旗千里蔽日月。正扬鞭驰马指危城，扫妖孽。捣魔窟，且慢着，夺五省，谈何易？挽狂澜既倒，有赖贤哲。巨龙掉头东入海，碧波万顷任游弋。待洪涛掀浪撼孤岛，斯可矣。

    正当潘心源强烈寄希望于那些党内领导同志能够审时度势，从失败中汲取教训，重新壮大革命的武装力量之时，1931 年1 月中共中央召开了六届四中全会，而这次会议却标志着以王明为代表的“左”倾教条主义路线开始在中央占据统治地位。不久，为了使“左”倾路线得以在中央革命根据地贯彻，中央派出代表团对苏区高层领导进行考察。中央代表在考察中获悉潘心源一直拥护毛泽东的革命路线：主张向敌人薄弱的广大农村发展，不赞成向着中心城市和交通要道发展；主张“坚壁清野”、“诱敌深入”，不赞成把敌人挡在根据地大门外同敌人硬拼；主张群众武装、地方部队和中央红军都得到发展，不赞成超计划性的扩红…… 于是对潘心源进行了严厉的批评和指责。1931 年12 月，周恩来进入中央苏区局任书记。潘心源将心中的忧虑和苦闷向周恩来作了倾诉。

    周恩来对潘心源的革命忠诚以及领导能力都非常了解，为了鼓励潘心源继续干好革命工作，同时也为了进一步激励他到基层和一线经受锻炼、接受考验，周恩来亲自安排他又一次以中央巡视员身份，赴浙南地区工作，同时任命他兼任浙南红十三军政委职务。就在潘心源走马上任后不久，因叛徒出卖，不幸在浙江玉环县被捕，牺牲时年仅27岁。中共中央机关刊《布尔什维克》专门刊发了讣告，并辟出专版刊登悼念文章。