1920年上海就成立了早期团组织“中国社会主义青年团”，并开展了筹建机器工会、开办工人半日学校、纪念“五一”宣传等卓有成效的工作，它虽具有地方性，但实际起到全国青年团发起组的作用，团的临时中央局为什么将“团一大”召开地点从上海改成了广州呢？

　　1920年6月，上海共产党早期组织诞生，随即积极开展工作。

　　那时，上海已经是我国最大的工商业城市，各地许多追求进步的青年都来到这里，希望吸收新知识、接触新思想。因而，李达的《一九二○年的中国社会主义青年团》说:“‘五四’运动后，湖南、湖北、安徽、四川等地，有不少青年对旧社会不满，要求思想解放。这些青年，都有一股朝气，想干革命工作，想谋出路。许多人脱离了家庭和学校，到上海找‘新青年社’、民国日报副刊‘觉悟’(邵力子等人办的)、‘星期评论’(李汉俊等办的)。因为这是当时三个进步的刊物。”

　　为了团结和教育广大青年，“培养挑选预备党员”，上海共产党早期组织决定筹建团组织。俞秀松作为上海共产党早期组织最年轻的成员，对这项任务义不容辞；他参加了马克思主义研究会，曾在日记中表示“决意想去做‘社会的革命者’”，并在上海厚生铁厂一边做工，一边向工人宣传革命道理。

　　上海率先成立团组织

　　1920年8月22日，俞秀松与施存统、沈玄庐、陈望道、李汉俊、叶天底、袁振英、金家凤发起成立上海社会主义青年团，并担任书记，机关设于上海霞飞路渔阳里(今淮海中路567弄)6号，这是一幢两楼两底的石库门房屋。

　　为了掩护上海社会主义青年团的活动、便于输送革命青年赴苏俄学习，上海共产党早期组织还在渔阳里6号办起外国语学社，俞秀松担任秘书(相当于校长助理)。9月28日，上海《民国日报》头版登载《外国语学社招生广告》:“本学社拟分设英、法、德、俄、日本语各班，现已成立英俄日本语三班，除星期日外每班每日授课一小时，文法读本由华人教授，读音会话由外国人教授，除英文外各班皆从初步教起。每人选习一班者月纳学费二元。日内即行开课。名额无多，有志学习外国语者，请速向法界霞飞路渔阳里六号本社报名。”俞秀松首先在外国语学社发展团员30余名，其中包括李启汉、李中、罗亦农、王一飞、谢文锦、任弼时、萧劲光、蒋光慈、曹靖华、汪寿华、梁柏台、陈为人、许之桢、雷晋笙、吴芳、王会悟、廖化平等；后来，团员逐渐增加到约200人。

　　在团内，俞秀松每周安排一次政治报告会，他常自己登上讲台，同时请陈独秀、李达、杨明斋等作演讲，所以包惠僧的《党的“一大”前后》说:“报告的内容多半是由党规定下来的，俞秀松作的报告较多。”俞秀松不断鼓励团员的政治热情，不少人深入工厂进行调查，踊跃参与筹建机器工会、开办工人半日学校、纪念“五一”宣传；他们也为上海共产党早期组织创办的工人刊物《劳动界》撰稿，发表了《我们底劳动力哪里去了？》、《黄包车夫拉车吐血》、《失业问题与社会主义》等文章。

　　在党组织领导下，俞秀松废寝忘食地处理多种事务，使上海社会主义青年团颇有起色。它虽具有地方性，但实际起到全国青年团发起组的作用，广州、北京、天津、武汉、长沙、唐山、太原、济南等地很快都出现了团组织。

　　各地组织蓬勃发展

　　1921年3月，全国已经有团员千余人，于是在沪建立中国社会主义青年团临时中央执行委员会，由俞秀松担任书记，机关仍设于霞飞路渔阳里6号。3月27日，唐山团组织的一封来信中，上款便写着“上海青年团总部代理中央机构诸君”。此时，青年共产国际(也称少年共产国际)东方书记部致函上海青年团，邀请派代表参加青年共产国际第二次代表大会，信中赞扬“上海的青年团是中国青年团中最好的一个”。

　　1920年4月1日，俞秀松在家书中说:“上海的朋友们推举我为留俄学生代表之一，而且推举我为中国赴俄京第二次国际少年共产党(大会)的代表。”俞秀松出席大会时，在报告中对我国青年运动形成与发展、上海建团等论述甚详，并指出:“第一个青年团建于上海，其原则是准备社会革命。”5月，由于俞秀松和一批骨干相继赴苏俄学习等原因，团组织的活动无形停顿。中国共产党成立后，对此非常重视，张太雷在恢复团组织的同时，主持制订了临时章程，其中规定:“正式中央机关未组成时，以上海机关代理中央职权。”

　　1922年初，施存统从海外回国，在沪负责团的临时中央局和上海地方团组织日常工作，不久又主办《先驱》(这份半月刊原由北京团组织出版，因遭北洋政府查禁移至上海)。此时，团的临时中央局机关搬到上海大沽路356—357号，系两幢石库门房屋，里面存放着团刊、上海团员调查表等，墙上挂马克思、恩格斯、列宁的画像；开团员大会时，连天井都站满人。随着各地团组织的纷纷建立，全国的团员迅速增至数千人，团的临时中央局认为有了新的发展契机，所以积极进行筹备，并通知各地团组织:将于4月在上海召开“团一大”。

　　3月6日，中共广东支部书记谭平山写信给施存统提出建议:“大会地点，如能改在广州更好，因为比较自由。”中共中央和团的临时中央局鉴于香港海员大罢工取得胜利，广州已经成为全国工人运动兴盛的地区，遂采纳了这个意见。

　　“团一大”在广州召开

　　5月5日至10日，中国社会主义青年团(1925年1月更名为中国共产主义青年团)第一次全国代表大会在广州召开，标志着共青团正式成立；施存统当选团中央书记，张太雷、俞秀松等当选执行委员。上海出版的《新青年》杂志第九卷第六号在通讯中谈到:“这次中国社会主义青年团代表大会，是由上海临时中央局召集的。”