随后，叶挺来到武汉，住在汉口太和街２６号。朱克靖、吴振邦等许多叶挺的故旧、部属纷纷赶到汉口，参加新四军的筹备工作。１１月２１日，蒋介石在南京召见叶挺，叶剑英陪同前往。叶挺转达了中共中央关于新四军改编的方案，副军长、参谋长，各师师长、副师长名单。蒋介石问：“谁要你去延安的？”叶挺没有说是毛泽东要他去延安的，而是回答说：“这件事我同军政部长何应钦谈过。”

　　１２月２３日，延安派出的到新四军参谋处任处长的赖传珠乘火车到达武汉，而由项英率领的部分人员则途经西安，然后乘飞机飞抵武汉。叶挺带他们住在汉口太和街２３号。１２月２５日，新四军军部在汉口成立。南方湘、赣、闽、粤、浙、鄂、豫、皖等８省１４个地区（琼崖除外）留下的相当数量的红军和游击队，改编为国民革命军陆军新编第四军（简称新四军）。

　　新四军军部先后的十个旧址

　　（１）１９３７年１２月２５日，叶挺、项英在汉口太和街２６号（现胜利街３３２－３５２号）成立新四军军部。在这里工作和居住过的新四军将领有叶挺、项英、张云逸、周子昆、曾山等。郭沫若也在此居住过。新四军军部在这里约１２天。

　　（２）１９３８年１月６日，新四军军部迁移到江西南昌市象山南路三眼井友竹花园７号。这里原是北洋军阀张勋１９２３年建的公馆。１９２７年，该建筑成为国民革命军第三军军长王钧的住宅。南昌起义时，起义部队将王钧的部队歼灭。军部组织改编南方八省红军和游击队，宣布叶挺任军长，项英任副军长，张云逸任参谋长，周子昆任副参谋长，袁国平任政治部主任，邓子恢任政治部副主任。新四军下辖４个支队和１个特务营。第一支队，陈毅任司令员，傅秋涛任副司令员；第二支队，张鼎丞任司令员，粟裕任副司令员；第三支队，张云逸兼任司令员，谭震林任副司令员；第四支队，高敬亭任司令员。同时，中共中央决定成立中央军委新四军分会，以项英为书记，陈毅为副书记。全军共约１．０３万人。第一、二、三支队和特务营奉命于２月至４月间到达皖南岩寺地区集中进行组编点验和军政训练，第四支队集结江北霍山县流波瞳。军部在这里３个多月。１９３８年４月军部迁移。

　　（３）１９３８年４月４日，新四军军部由南昌迁至皖南歙县的岩寺金家大院。岩寺，位于徽州盆地中心，地势开阔平坦，古称岩镇，现为黄山市徽州区政府所在地。军部在这里约３个月。１９３８年７月军部撤离。

　　（４）１９３８年７月至１９４１年１月，新四军军部迁至安徽泾县城西２５公里外的云岭。新四军军部在这里驻扎约２年零５个月。云岭北濒长江，西依九华山，南临黄山、太平湖。叶挺在这里指挥新四军时间最长，直至皖南事变发生前夕。他在这里还写下这样一首诗：

　　云中美人雾里山，
　　立马悬崖君试看。
　　千里江淮任驰骋，
　　飞渡大江换人间。

　　叶挺任新四军军长后，率领新四军坚持华中敌后抗战，开创了苏南、苏北、皖南、皖中、皖东、皖东北、豫皖苏边和淮海等抗日根据地。１９３９年５月，新四军一部北渡长江，在皖中庐江县东汤池主持建立新四军江北指挥部，指挥部队挺进皖东敌后，在津浦铁路东西两侧建立抗日根据地。１９４０年１０月初，叶挺指挥皖南部队将进攻泾县云岭的１万余日伪军击退，共歼敌近３０００人。在争取和扩大新四军兵员、装备、给养、防区等方面，叶挺等人多次与国民党当局进行交涉与斗争。

　　１９４０年１２月９日，蒋介石发出“佳电”：“限令黄河以南八路军、新四军至１９４１年１月３０日前必须开到黄河以北地区；长江以南新四军限于１２月３１日以前开到长江以北地区，并于１９４１年１月底前撤到黄河以北地区。”

　　１９４１年１月，国民党调集７个师