抗日战争全面爆发后,1937年8月,红二方面军与陕北红军一部改编为八路军第一二0师,第六师与第二十八军合编为第一二0师三五八旅七一六团,宋时轮任团长(9月由贺炳炎接任),廖汉生任副团长(实际上担任政治委员工作)。9月,第一二0师昼夜兼程奔赴晋北前线,配合国民党第二战区友军作战。贺炳炎和廖汉生率部收复被日军侵占的宁武县城。

10月间,八路军恢复政治委员制度,廖汉生随即改任第七一六团政治委员。这时,第一二0师首长指示贺炳炎和廖汉生率第七一六团直属队和第三营组成贺廖支队,直插雁门关,以游击战袭扰伏击日军的运输部队。18日,贺炳炎和廖汉生指挥了雁门关南山黑石头沟伏击战。这天上午9时,贺廖支队各连队迅速进入伏击位置。10时许,200余辆日军运输车,拉着伤兵、尸体在武装部队掩护下,由南面驶入伏击地域。贺、廖一声令下,各种火器一齐射击。日军先头车被打着了火,后续车辆前进不得,车上的日军纷纷跳车。随着冲锋号响,第三营营长王祥发带领突击连猛虎一般扑向日军,其他几个连队也相继发起冲锋,把日军压在黑石头沟里,双方展开白刃战斗。贺、廖也带着几个警卫员冲下山,靠前指挥。激战中,从北面广武方向开来百余辆日军汽车,满载着向忻口增援的士兵和弹药,驶进黑石头沟。前面的几辆汽车被第七一六团警戒部队打着了火,日军跳下车顺着山梁绕到第七一六团左侧,向在公路上出击的第七一六团射击。此时,4架日机赶来助战。贺炳炎、廖汉生立即把部队重新拉上山。不久,日军又来了增援。贺炳炎、廖汉生见伏击目的已经达到,遂率部主动撤出战斗。此战,共毙伤日军300多人,击毁军车20余辆。到20日夜,第七一六团三营又占领了雁门关。此后,贺廖支队不断袭击日军运输线,切断了由大同经雁门关至忻口的运输补给线,使日军交通运输陷于瘫痪。

11月太原失陷后,在华北以国民党军为主体的正规战争宣告结束,以八路军为主体的游击战争上升为主要地位。八路军挥师挺进日军后方,开辟敌后战场,建立抗日民主根据地,开展抗日游击战争。1938年上半年,廖汉生率领第七一六团到达朔县、怀仁、左云、右玉一带活动。11月3日,第三五八旅旅部率第七一六团在五台山南滑石片地区,伏击日军第一0九师团蚋野大队。此战在第七一四团配合下,蚋野大队700余人基本被歼,缴获步枪300余支、机枪30余挺、炮7门及各种作战物资。战后,团长黄新廷和廖汉生向贺龙、关向应作了汇报,他们听了很满意。

1939年初,第七一六团等部在贺龙、关向应率领下挺进冀中,执行巩固冀中、帮助第三纵队和扩大自己等三项任务。2月2日,黄新廷、廖汉生率第七一六团在肃宁曹家庄伏击日军,毙伤日军150余人,首战告捷。4日,与日军1000余人再战大曹村,歼日军300余人,毙日军大队长一名。3月1日,在河间城西黑马张庄伏击日军,歼日军200余人。4月,在粉碎日军五次围攻后,第七一六团与冀中军区独立四支队合编为第一二0师独立第二旅。廖汉生任独立第二旅副政治委员。廖汉生大力加强党的建设,扩大党员队伍,健全了旅、团、营、连各级党的组织,使党支部在基层部队成为坚强领导核心。

4月下旬,独立第一、第二旅在贺龙指挥下,与日军在河间东齐会村激战,歼日军一个大队700余人,创造了八路军抗日战争以来平原歼灭战的范例。8月26日,独立第二旅旅长魏大光在与日军激战中牺牲,廖汉生代理独立第二旅旅长。9月下旬,廖汉生率部随第一二0师参加晋察冀西部地区反“扫荡”的陈庄镇战斗,共歼灭日伪军1380人。陈庄战斗后,第一二0师进行整编,独立第二旅编入第三五八旅,廖汉生复任第七一六团政委。

1940年8月,廖汉生率部参加百团大战。战后,被派到延安八路军军政学院第四队学习。年底,作为中共七大代表,廖汉生被集中到中共中央党校本科第二支部当学员。1943年7月,廖汉生任中央党校第二部组织教育科科长,主管党务和学习。期间,曾被任命为在延安驻防的第三五九旅副政治委员,同时继续担任第二部组织教育科科长。除了参加和组织整风学习,廖汉生还响应毛泽东关于开展大生产运动号召,向第三五九旅王震要了一架“洋”纺车,架在窑洞里,一点一点学会了纺羊毛线。

廖汉生长征以后就和妻子肖艮艮断了音讯,到延安后听说肖艮艮早已被国民党杀害了。1943年在中央党校工作期间,经贺龙夫人薛明介绍,廖汉生认识了在中央政治研究室工作的四川妹子白林。经过一段时间相处,同年的10月9日,两人结为夫妻。

1944年秋,中共中央决定由第三五九旅主力和3个干部大队组成八路军南下第一支队,南下华南开辟五岭抗日根据地。南下第一支队所辖第一、第二、第三、第四大队是第三五九旅战斗部队,第五、第六大队是干部分队。贺炳炎被任命为第五大队队长,廖汉生任政治委员。11月9日,廖汉生同贺炳炎率第五大队从延安出发,踏上南下征程。1945年3月上旬,贺炳炎和廖汉生带着第五大队大部分干部抵达襄南地区后,贺炳炎新四军第五师第三(即襄南)军分区司令员,廖汉生任中共襄南地委书记兼军分区政治委委员。从此,廖汉生正式加入到新四军行列。

4月23日,中共第七次代表大会在延安召开。廖汉生作为七大的代表,由于在前线紧张工作无法抽身,没能参加大会。