张宗逊1908年2月7日出生在陕西渭南赤水镇堰头村的一个富裕农民家庭里。1926年2月，他如愿考入广州黄埔军校，编入第五期入伍生第二团二营五连，并由社会主义青年团员转为中共正式党员。

    1927年7月，张宗逊时任国民革命军第二方面军总指挥部警卫团连长。当时，警卫团拟参加“八一”南昌起义未果，转入江西修水一带活动。同年9月，张宗逊随警卫团参加湘赣边界秋收起义，任中国工农革命军第一师第一团(由警卫团改编而成，团长卢德铭)参谋。按照中央规定的秋收起义计划，各团由东向西攻击，目标是夺取长沙。行动中，张宗逊率领一连兵力，在第一团编成内行动，向西攻击时，担任先锋；向东撤退时，担任后卫。连续战斗十来天，都出色地完成了任务，初步展现了他指挥作战和管理部队的才干，引起了领导起义的中共前敌委员会书记毛泽东的关注。由于敌强我弱，加上起义军的指挥员又大都缺乏实战经验，起义军损失严重，卢德铭不幸牺牲。

    在此危急时刻，毛泽东毅然决定，放弃西进夺取长沙的计划，改向东南湘赣边界的山区转移。1927年9月，起义军转战至江西省永新县境内的三湾村。在毛泽东领导下，起义军在三湾休整了五天，对所剩部队进行了整编，将起义部队原来的三个团缩编为一个团，下辖七个战斗连队，共约1000人。张宗逊调到特务连(连党代表罗荣桓)任副连长，他带领一个排专门担负毛泽东的贴身警卫，实际上成了毛泽东的首任卫士长。当毛泽东听说他是陕西渭南人时，风趣地说:“你来自八百里秦川，是姜太公的老乡呀！姜太公垂钓于渭水嘛。”而张宗逊性格内向，不善言辞，只是以微笑来答谢毛泽东的信任和鼓励。

    1927年10月23日破晓，部队在江西遂川县大汾镇突然遭到反动地主武装萧家壁部的袭击。当时，情况非常紧急，连长曾士峨和党代表罗荣桓命令张宗逊带一个排，负责护送毛泽东。秋收起义前后，几十天的长途行军跋涉中，毛泽东的脚背早已被草鞋磨烂了，走路一拐一拐，行动很困难。他不时的微微皱一下眉头，有时被崎岖的山路猛地硌一下脚，禁不住轻轻吸一口冷气。看到他艰难行军的样子，张宗逊和战士们一次次提出用担架抬着他走，毛泽东摆摆手说:“谢谢大家，我自己能走。”张宗逊坚持要抬，毛泽东坚决不坐。双方争执不下，彼此都很动情，毛泽东退让说:“你给我弄根竹竿，咱们拄着慢点走，好吗？”争执才平息下来。在回忆此段经历时，张宗逊曾感慨地说:“我们觉得，毛委员是读书人，并不善于长途行军，但他竟能如此经得住艰苦，很令人佩服。”

    1928年4月，朱德、毛泽东在井冈山会师，张宗逊担任中国工农红军第四军连长，成为“我军创始阶段的少数几个连长之一”，一度兼任过江西永新县游击大队大队长。

    在“工农武装割据”斗争中，张宗逊一直在毛泽东率领下行动，紧随在毛泽东身旁。毛泽东从斗争实践中总结出来的建军原则和作战原则，张宗逊都能较早地得知，认真学习领会，并积极贯彻执行。1929年1月，红四军转战赣南、闽西，张宗逊在战斗中成长，历任红四军第三纵队九支队(营)副支队长、支队长、军代理参谋长。