1947年1月任华东野战军副司令员，仍负责战役指挥。在战略上仍处于内线的条件下，先后指挥了宿北、鲁南、莱芜、泰蒙、孟良崮等战役，共歼敌7个军(整编师)和1个快速纵队，内有国民党号称“王牌军”的整编第74师。人民解放军转入战略进攻后，同陈毅一起率华东野战军主力挺进鲁西南，掩护晋冀鲁豫野战军主力南下大别山，指挥沙土集战役，歼敌1个整编师，迫使敌从山东和大别山区抽调4个整编师来援，实现了华东战区由内线向外线、从战略防御到战略进攻的转折，随即挺进豫皖苏边区。他体察军事政治形势的发展，于1948年1月、4月提出3个纵队暂缓渡江南进，集中兵力在黄淮地区打大歼灭战的建议，为中共中央采纳。5月陈毅奉调到中原工作，他任华东野战军代司令员兼代政治委员。6月兼任豫皖苏军区司令员。六七月间，指挥华东野战军8个纵队、中原野战军2个纵队进行豫东战役，歼敌9万余人，取得了大规模攻城打援作战的胜利，改变了中原、华东战场的战略态势，打乱了国民党军防御体系，为尔后进行更大规模的歼灭战创造了有利条件。9月指挥济南战役，攻克坚固设防的大城市济南，歼敌10万余人。9月24日提出进行淮海战役的建议，经中央军委批准，中原、华东野战军并肩作战，于11月6日发起淮海战役。11月8日与华东野战军副参谋长张震联名提出将南线国民党军主力抑留于徐州及其周围逐步歼灭的重要建议，为中央军委采纳，对扩大淮海战役规模，发展成为南线的战略决战起到了积极作用。在战役中，作为中共淮海前线总前委成员，直接指挥了华东野战军17个纵队作战。

    1949年1月任第三野战军副司令员兼第二副政治委员(仍代理司令员、政治委员职务)。在渡江战役中指挥所部追歼逃敌5个军于皖南郎溪、广德山区，解放南京、杭州。5月指挥上海战役，歼敌主力8个军于上海外围，使上海免遭严重破坏。先后兼任上海市军管会副主任、南京市军管会主任、南京市市长、华东军政委员会副主席。在解放战争中，他富有战略远见，善于关照战略与战役和各战役、各阶段之间的联系，适时集中和转用兵力，取得了一系列重要战役的胜利，积累了组织指挥大兵团作战的丰富经验。

    1951年任人民解放军副总参谋长，1954年任总参谋长。坚持真理，实事求是。深入研究国防战略，制定作战计划，探索未来反侵略战争的战略方针、作战指导和国家战备等问题，提出诸军兵种建设方针和富有战略创见的设想，使总参谋部在军队现代化、正规化建设中发挥重要的组织领导作用。1955年被授予大将军衔和一级八一勋章、一级独立自由勋章、一级解放勋章。是第一至第三届国防委员会委员。

    1958年在军委扩大会议上受到错误的批判，并因此长期受到不公正的对待。同年调任国防部副部长兼军事科学院副院长。1972年任军事科学院第一政治委员。他致力于坚持和发展毛泽东军事思想，提倡学习军事辩证法。中共十一届三中全会后，提出要在军事领域解放思想，研究和回答现代战争提出的新问题。是军事科学研究实践的一位开拓者。“文化大革命”中曾任国务院业务组成员，在周恩来领导下，分管铁道、交通、邮电、港口建设和造船统筹。是中共第七届中央候补委员，第八至第十一届中央委员。1967～1968年、1975～1982年任中央军委常委。1980年当选为全国人大常委会副委员长。1982年当选为中共中央顾问委员会常务委员。1984年2月5日病逝于北京。主要军事著作有《对未来反侵略战争初期作战方法几个问题的探讨》(1979)、《粟裕战争回忆录》(1988)、《粟裕军事文集》(1989)等。