为了宣传抗日主张，推动抗日救亡运动的发展，策应主力红军的行动。1934年7月初中共中央发表了《为中国工农红军北上抗日宣言》等宣传文告，并命令红7军团组成红军北上抗日先遣队。此时的粟裕被任命为悲伤感抗日先遣队的参谋长，随先遣队从瑞金出发，经过长汀、连城、永安县城，迅速地打下了大田县和漳湖板。自此，开始了艰难的浙南三年游击战争。

1934年8月14日，抗日先遣队继续挺进，在罗源县歼敌1000余人，成功地与闽东游击区的同志会师；于9月初至11月初，进入闽北游击区后，又转向皖赣周边行动。先遣队随后进入了闽浙赣革命根据地，与当地的红10军合并为红10军团。粟裕担任了该军区和红10军的参谋长。随着作战需要，红10军团于11月下旬进入皖浙赣边，由内线作战转向外线作战，而就在此时，敌人调集了二十多个团的重兵对红10军团进行追堵和围攻。

面对敌人的重兵围堵，于1935年初，粟裕决定率先带领抗日先遣队从怀玉山方向进行突围。突围成功后，就到达了闽浙赣根据地。就是在这里，粟裕艰难的三年游击战争开始了。到达这个根据地不久后，他就接到了中央的指示，中央命名他们要以抗日先遣队为基础，迅速地组成挺进师，由粟裕担任师长，刘英任政治部主任，开始进入浙江境内，开展游击战争，创建根据地。

这无疑是一次艰巨的任务，要知道，浙江可是蒋介石的老巢，是国民党统治的腹心地带，不仅反动势力大，而且共产党的组织在浙江已经基本被破坏了，要在这座城建立根据地，不仅困难重重，而且危机四伏。

但是，纵使知道前路艰险，粟裕还是同刘英迅速地组建起了这个一共才500余人的挺进师，在与敌人交锋的期间，部队里唯一台电台被敌人打坏了，开始进行艰苦卓绝的浙南游击战争。1935年3~4月间，粟裕、刘英率挺进师在浙江福建边界地区辗转作战，忽南忽北，时东时西，搅得敌人十分惶恐。敌人调集龙泉河北岸的大批保安队南下，命令福建新10师和第56师北进，企图两面夹击，消灭挺进师于龙泉河以南的浙闽边境地区。

4月下旬，粟裕率挺进师活动于斋郎地区时，敌命令浙江保安第1团团长李秀率其所部1200余人，福建保安第2团团长马洪深带领1000多人，在以“大刀会”为主的地主武装近千人的配合下，从东北、正东和东南三个方面对挺进师实行分进合击。李秀、马洪深等人以为这下子可以大功告成，急不可耐地要向其主子邀功请赏。与此同时，粟裕一面派出人员侦察敌情，一面率领参谋人员勘察地形，认真筹划歼敌方案。经过细致地勘察，粟裕感到斋郎地区的地形有利，是一个歼敌的好战场。但是，粟裕深知，这一仗的胜败直接关系到挺进师能否打开通往浙西南的通道，关系到游击根据地能否建立。临战前，他对自己精心制定的作战计划又进行了一番周密细致的思考和审查。

天近拂晓，远近的村落不时传来鸡叫声，粟裕依旧毫无一丝倦意。他时而踱步于地图前，时而走出屋子望望挂满星斗的天空。这时，侦察人员回来报告:“大刀会”已经出动，正朝着斋郎地区靠近。“各个歼灭敌人的绝好时机到来了。”粟裕说着，高兴地猛地一拍桌子，震得桌上的小油灯直跳。他当即下令全师进入预设阵地。上午，战斗开始了。手持大刀、腰挎黄色符带的“大刀会”匪徒，赤背袒胸，狂叫着“刀枪不入”，漫山遍野蜂拥而来。按照粟裕的部署，战士们一面做好战斗准备，一面展开政治攻势。“大刀会”的人越来越近了，战士们先是一排枪子弹打去，接着对敌喊话，宣传红军不打受苦人，要他们不要受反动派的欺骗。在强大的军事和政治攻势下，不到半天工夫，就将这帮乌合之众全部瓦解了。

快到中午时，浙江保安第1团李秀部，骄纵轻进一下子深入到我军前沿阵地。粟裕命令部队等敌人靠近了再打。直到敌人近到50米左右时，我军集中火力。突然攻击。顿时，枪弹声、手榴弹爆炸声和喊杀声响作一团，震得山鸣谷应，敌人扔下一片尸体，哭爹叫娘慌乱鼠窜。

敌团长李秀还想指挥部队反击，粟裕甩手一枪打中了他的手臂，李秀托着断手嗷嗷直叫。粟裕趁机指挥部队掩杀过去，打死打伤敌人300余人，俘虏约200人。李秀携残部仓皇向斋郎东北方向逃窜，我军乘胜追击了十多里才返回。

我军重返阵地时，姗姗来迟的福建保安第2团刚刚从东南方向的烂泥村赶来，看到阵地前那一片片尸体，不敢应战，便狼狈逃窜了。

斋郎之战的胜利，迫使保安部队在很长的一段时间里，转攻为守，龙泉河以北敌人的力量比较空虚，挺进师获得了开辟浙西南游击根据地的有利时机。粟裕挥师北上，胜利进入仙霞岭地区。

1935年5月上旬，粟裕率挺进师进入到龙泉、遂昌、松阳三县的边界地区，将部队改编为四个纵队和两个独立支队。粟裕和刘英决定将第4纵队留在龙泉河以南的浙闽边境继续活动，以牵制敌人;由第1、2纵队担负开辟根据地的任务;其余各部队随师部北进，辗转游击于浙赣铁路以南的汤溪、龙游、金华、武义、丽水之线，造成声势，迫使敌人北调，以掩护、保障第1、2纵队开展工作。粟裕率挺进师各部所到之处，先肃清当地区、乡的反动武装，广泛发动群众，打土豪，分田地，继而建立起农会、妇女等群众组织和赤卫队。这样，一个红色游击根据地的雏形在浙西南形成了。

挺进师的活动和游击根据地的初步建立，使得反动当局惶恐不安。国民党浙江省政府主席黄绍竑召开紧急会议，决定拿出全部家当，共4个保安团和11个保安大队，加上刚从南京派来的一个税警团，由其亲自率领，分四路向浙西南猛扑过来。

敌人的反扑，早在粟裕的预料之中。他将主力分成南北两路，跳出去，转入敌后，指挥部队辗转游击。到9月中旬，粟裕率部粉碎了敌人的进攻，把游击区扩大到五个县，纵横上百里，挺进师在浙江立住了脚。

粟裕领导的浙西南游击根据地搅得蒋介石寝食难安。他决定调用主力部队进行“围剿”。7~8月间，蒋介石先后任命卫立煌、罗卓英为“闽赣浙皖四省边区剿匪总指挥部”的正副总指挥，确定“以各边区的大部对粟、刘”，并授权第18军军长罗卓英统一指挥。

1936年底，蒋介石又调集主力部队6个师、两个独立旅及地方保安团，共43个团的兵力，对挺进师进行第二次“围剿”。这是粟裕领导的挺进师在三年游击战争中作战最多、最艰苦的时期。斗争极其残酷，敌人企图用惨无人道的手段来摧垮革命者的斗争意志，甚至把烈士遗体当众“开膛”，剜下心肝，粟裕本人也多次遇险。

直到抗日战争爆发后，国共合作抗战的局面已经形成，中共闽浙赣省委同国民党浙江当局谈判，达成了合作抗日的协议。挺进师分散游击于浙南各地的游击队先后集中到浙江平阳北港山门街，正式改编为“国民革命军浙闽边抗日游击总队”，从而结束了艰难的浙南三年游击战争。