新中国成立后，经中央人民政府革命军事委员会主席毛泽东批准，在原华北、华东军事政治大学的基础上创办中国人民解放军军事学院。1951年1月15日，军事学院在南京成立。刘伯承领导创建工作，并任院长兼政治委员。

    南京军事学院创办之初，根据党中央和中央军委的有关指示，刘伯承和军事学院党委确定了“以教学为中心”、“理论与实际相结合”的教学方针。他曾说:“同一部孙子兵法，马谡的用法就是教条主义，孔明就不是；庞涓、孙膑同师鬼谷子，可是一个是教条主义，一个不是教条主义。”1952年2月起，为贯彻理论与实际相结合的方针，有针对性地培养同美军作战的人才，他在军事学院先后组织了3批赴朝参观团，指示参观团人员要认真学习、总结朝鲜战场的新鲜经验，从中提取教学经验，以利更好地开展教学。

    刘伯承曾经说:“一支部队能不能带好，关键是干部。领导干部要做好样子。没有带不好的兵，只有带不好的官。”他反复要求各级干部带头议军、学军、练武，学会养兵、带兵、练兵、用兵。根据我军的实际并借鉴外军经验，刘伯承和叶剑英一起，科学地构想并主持实施了全军指挥院校的“三级体制”以及“两股绳”的院校体制，为我军院校正规化建设奠定了基础:“三级体制”，就指挥院校来说，由初级军官到将军必须经过初、中、高三级指挥院校的培训；“两股绳”，就是军官培训分为完成与速成两种，把普及与提高、基础教育与知识更新结合起来。这样，就有重点地而又多样化地、多层次地解决了军官服役期间的培育、深造与提高的问题。

    刘伯承强调院校各级领导干部必须认真钻研学术理论，要坐下来同教员、学员一起研究和解决疑难问题。刘伯承曾领导全体师生进行了数十次实际示范演习和大型现场作业，几乎他都亲自担任总导演和具体指导。1951年6月，他亲赴安徽凤阳县临淮关镇，现场组织指导步兵师江河进攻战斗实兵演习。演习前夕，突然收到天气预报说，演习这天将有大雨。训练部门负责人请示:“演习是否暂时停止？”刘伯承听后严肃地说:“下雨怕什么！下炮弹也要演习。训练就是打仗。打仗还能选好天气，岂有停止之理！”演习中，果然大雨如注。有人将一顶草帽戴在他的头上，他当即拒绝道:“古代将领都能以‘夏不张伞，冬不着裘’来凝聚军心，我们无产阶级军人反而还做不到吗？自己不以身作则，鬼才会相信你讲的那一套呢。”

   刘伯承曾打比方说:搞剧团要有梅兰芳那样的名演员，开医院要有手到病除的高明医生，办学校则要有一支精通业务的高水平的教员队伍，即教员队伍名师化。早在1951年5月，他就向军事学院上下提出“尊师重道，教学相长”的口号，要求学员尊重教员，积极协助教员搞好教学；教员也要向学员学习，帮助学员总结作战经验。军事学院初创时，教员队伍人数不多。为了解决这个问题，刘伯承派人四处选拔合格的教学人才，对那些富有军事科学知识的旧军官也加以重用。经过一番苦心经营，军事学院很快建立了包括苏联军事专家在内的一支可观的教员队伍。