朝鲜战争爆发后，新中国领导者决定加快炮兵建设的步伐。在1950年年初，中央军委就根据国内外形势和我军面临的任务，做出了建立一支强大的国防军的决策，并决定组建军兵种领导机关。谁来掌舵炮兵？毛泽东幽默地说:“红四方面军有个陈锡联，外号叫‘小钢炮’，搞炮兵当然是内行！”

    1950年10月20日，陈锡联到中央军委报到，次日正式到炮兵就任。在陈锡联到京之前，中央军委已抽调四野特种兵副司令员苏进到北京筹建炮兵领导机关，并担任炮兵副司令员兼参谋长。苏进熟悉炮兵业务，他在华北军区炮兵司令部的协助下，很短时间就筹建起一个二三十人的机关班子，并积极地开展工作。1950年8月1日，人民解放军炮兵领导机构宣布正式成立。10月初，又召开了有各军区炮兵负责人参加的第一次炮兵会议，根据中央军委关于“大力发展新的炮兵，同时加强提高老的炮兵”的指示，着重讨论了全军炮兵的建设问题，提出了当前炮兵建设的方针和任务。

    1951年初，为尽快把领导机构建起来，以适应国防和朝鲜战场的迫切需要，陈锡联请求中央军委将四野炮兵机关的大部分人员调京，充实了军委炮兵机关，成立了炮兵政治部、炮兵干部管理部、炮兵后勤部、炮兵军械部、军委马政局等部门。与此同时，在华东、东北、西北军区也建立了炮兵领导机构。

    很快，中央军委任命炮兵领导班子成员:彭嘉庆为第一副政委兼政治部主任，贾陶为参谋长，苏进改兼军械部长。5月9日，中共炮兵委员会正式成立，陈锡联担任书记，彭嘉庆为副书记。炮兵党委的建立，从组织上确立了党的集体领导制度。

    1951年6月，中央军委批准了炮兵党委的建议，在步兵军、师两级设立炮兵主任，至此形成了自上而下的炮兵领导体制，炮兵建设进入了大发展时期。为了搞好国内防空和支援朝鲜前线，陈锡联等人受命迅速地、大规模地组建和扩建炮兵部队。扩建规模最大、速度最快的，要数1950年冬、1951年春的那一次。1950年11月，在朝鲜战场第一次战役和第二次战役之间，志愿军在朝预备炮兵只有3个师、14个团又3个营，战场压力很大。经陈锡联等向中央军委请求，从西北、西南、中南等军区共调给军委炮兵8个“有良好的军政素质和丰富的作战经验”的步兵师，用以改建新的炮兵部队。为使他们迅速掌握炮兵技术，陈锡联等先后在黑龙江、辽宁、河北、山东4省迅速组建了8个训练基地，采取了“紧张的、短期突击的、战时的训练方法”进行改装训练。首先，按照炮兵的组织编制进行整编，各级干部到位；尔后，将各级军事干部集中到军委炮校和防空学校短训，掌握急需的炮兵战术技术，其他人员则留在基地，由从老炮兵部队抽调的干部和技术骨干担任教练，学习掌握火炮、器材的操作使用及有关知识；最后，干部从炮校和防空学校结业回到基地后，再和部队进行必要的合练。在此过程中，陈锡联指示对上述指战员进行国际主义、爱国主义和我军宗旨等政治思想教育，使他们认清抗美援朝、保家卫国的重大意义，坚定敢打必胜的信心，激发革命热情，自觉服从革命需要，投入到轰轰烈烈的改装、训练热潮中来。就这样，只用两三个月就完成了改装、训练任务……这些完成改装、训练任务的部队，马上源源不断地输送到抗美援朝前线战场，发挥了重要作用。到1953年底，全军预备炮兵已达23个师(含火箭炮2个师、高炮6个师)88个团和22个独立营；共组建军、师属炮兵团109个，战防炮营、高炮营各数十个，加上团、营属炮兵分队及机关、院校，全部兵力共计30余万人，为1950年初的3倍多。

    在部队规模迅速发展的同时，炮兵武器装备也有了质的飞跃，这也要归功于陈锡联。

    抗美援朝初期，我军炮兵武器装备的计划和调配工作，由军委炮兵军械部负责，开始由苏进兼部长。1951年秋冬，中央军委决定将总后勤部军械部与炮兵军械部合并，改为军委军械部，由陈锡联兼任部长，负责全军各军兵种通用火炮、枪械、弹药等的计划、调配和管理工作。这样一来，军委炮兵的职责更广泛，任务更复杂，工作更艰巨了。“使我深感欣慰的是，军委军械部的全体同志，无论来自哪个单位，都能团结一致，相互支持，为尽快改善和保障全军械弹，支援朝鲜战争和国防前线而辛勤工作。”在陈锡联统筹下，从1950年到1953年7月，陆续订购接收了苏式火炮数千门，以及相应的运输、牵引工具和观察、通信等配套装备。这些火炮中，有相当部分是大口径远射程的加农榴弹炮，还有压制集团目标的火箭炮和对付空中目标的高射炮。所有火炮的战术技术性能和配套程度，较之旧杂式火炮都有很大提高。我军按照先满足在朝作战部队，后解决国防前线和准备入朝参战部队的原则，有步骤地装备了82个炮兵团又177个炮兵营。同时，将堪用的旧杂式火炮进行维修，按炮种、性能进行调整。通过这些措施，使预备炮兵的火炮总数翻了一番，其中仅苏式火炮就达70％以上，摩托化炮兵团增加了8倍。这样，通过短短一两年的努力，使炮兵的武器装备基本上实现了由多国杂式装备向主要使用苏式装备、以骡马炮兵为主向摩托炮兵为主的转变，我军炮兵基本形成了一支既可与其他军兵种协同作战，又可单独执行火力任务的战斗兵种。