林伯渠作诗《六十自寿》一首：

　　我惭祖逖着先鞭，视息人间六十年。

　　不惯装腔作样子，相从奋斗攒时贤。

　　握筹愧乏治平策，励志惟存马列篇。

　　战胜层冰与烈日，春风送暖入乌延。

　　开国大典的主持人

　　１９４８年１１月，为筹备新政协、建立新中国，中央决定调林伯渠到中央工作。林伯渠随即告别了生活１４年之久的陕甘宁边区，前往西柏坡。１９４９年３月２３日，林伯渠和毛泽东、刘少奇、周恩来、朱德等同志，分乘汽车离开西柏坡，于２５日到达北平。６月１５日至１９日，新政协筹备会在北平召开，林伯渠代理秘书长。此时，林伯渠已经是六十三岁的高龄了，为筹备新政协，建立新中国，他不辞劳苦，有时连续工作２０多个小时。他端端正正写下了这样两句话：“为人民服务，为世界工作。”并郑重盖上自己的印章。

　　１０月１日中华人民共和国中央人民政府成立，林伯渠被推选为中央人民政府委员会秘书长。下午３点，中华人民共和国开国大典在天安门广场隆重举行。林伯渠主持开国大典，他以洪亮的声音宣布：“中华人民共和国中央人民政府成立典礼开始！”

　　接着，毛泽东向全世界庄严宣告：“中华人民共和国中央人民政府已于本日成立了！”军乐声中，毛泽东亲自开启电钮，第一面新国旗在新中国的首都冉冉升起。欢乐声中，５４门礼炮齐鸣２８响。

　　面对广场上迎风招展的彩旗和欢乐的人群，站在毛泽东身后的林伯渠，静静地听他用洪亮的声音宣读中央人民政府公告。从同盟会起走过漫长而曲折道路的林伯渠，满怀激情，欢呼着新中国的诞生。他高兴地观看了阅兵式和五彩缤纷的节日焰火，直到晚８点半才离开天安门。作为中央人民政府秘书长的他，立即投入到新中国建设之中，日理万机，鞠躬尽瘁，为团结全国各族人民、恢复国民经济、巩固新生的人民共和国而操劳着。他在第一、二届全国人民代表大会上当选为全国人大常委会副委员长，在中共八大上继续当选为中央委员和中央政治局委员。１９６０年５月６日，因严重的心肌梗塞，林伯渠住进北京医院。数十年来养成的写日记习惯，因病情严重恶化，在５月２５日写下最后一页日记后，再没有力气写下去了。２９日与世长辞，享年７４岁。