1909年，谭平山加入了同盟会。辛亥革命后，他自然而然的成为了国民党的一员，按照时间上来讲，谭平山也算是革命元老级别的人物了。随后，他来到北平，开始积极为民主革命做努力。就在小有成就之时，却因参加了五四运动而被北洋军阀逮捕，这也成为了他人生的一个转折点。

出狱以后，谭平山成为了广东省的党组织代表，至此，谭平山有了国共两党的双重党籍。这样的身份，为他以后的革命工作，提供了不少的便利。在此之后，他分别以不同身份，多次参加两党的全国代表大会。在国共第一次合作期间，谭平山特殊的身份让他担任了很多要职。本来以为，中国的革命会如他所想的那样一帆风顺。可万万没想到，1927年，蒋介石的行为导致国共决裂，谭平山得知后愤然退出国民党

这时候，他开始全力支持我党工作，得知要发动“南昌起义”时，他激动万分，暗中做了不少工作。起义成功之后，谭平山受到了一些错误思想的影响，被开除了党籍。由于信息不畅通，他本人并不知道此事。直到1928年，他回到上海时，才知道自己早已变成了一个无党派人士。