1928年3月，谭平山在上海和一部分国民党左派、爱国知识分子等，响应邓演达等发表的《莫斯科宣言》，发起组织成立中华革命党，既揭露以蒋介石为首的国民党右派抛弃了孙中山的三大政策，又反对中国共产党强调暴力斗争的做法，因此中华革命党也被人们称为“第三党”。

    中华革命党还出版《突击》、《灯塔》周刊，宣传该党的主张，在当时社会上有一定影响力。1930年春，谭平山在是否仍沿用国民党名称等问题上，和海外归来的邓演达存在较大分歧，故在邓演达将中华革命党改组成中国国民党临时行动委员会之前，离开领导机关。尽管如此，谭平山仍然是农工民主党的重要创始人之一。

    此后，谭平山虽然离开“第三党”，但他坚持革命、致力祖国独立富强的立场终生未变。正是在这一不懈追求中，谭平山再次与中国共产党越走越近，最终走上同一条革命道路。

    1949年9月，谭平山参加中国人民政治协商会议第一届全体会议，当选为主席团常务委员和第一届全国政协委员。