随着朝鲜战争的爆发，美国借口出兵台湾海峡，蒋介石在采取一系列稳定台湾局面的措施后，开始对大陆进行长期骚扰作战。在蒋介石提出需要有人指挥向大陆“打游击”时，第一个想到了胡宗南。蒋介石对陈诚说：

  • “宗南跟我那么多年，忠诚可鉴。丢了西昌，也不能全怪他……我看可以派他到大陈岛去，管管浙江前线的事……”

台湾当局对胡宗南的任命下达之后，很多人认为胡宗南之前统领数十万大军，如今屈身于几个荒岛，指挥散兵游勇，恐怕会非常失落。但没想到胡宗南却欣然受命。

为了保密，胡宗南化名“秦东昌”，以“国防部视察组”的身份前往大陈岛。毕竟之前指挥过几十万大军，没用多长时间，胡宗南就控制了各部队的指挥权，组织了6支陆上突击队和1支海上突击队，正式建立起“江浙反共救国军总指挥部”。

在美国驻台特务机构的支持下，胡宗南对浙江沿海的一些岛屿发起了多次攻击，有一次还偷袭成功，给台北送了一些缴获的解放军枪炮，来向台湾当局报告大捷。为此，台湾当局对胡宗南大肆宣传，不久胡宗南加官进爵，被任命为“浙江省政府主席。”

但胡宗南这个所谓的“浙江省政府”，不过只管辖几个渔岛而已。

随着朝鲜局势的发展，解放军加强了东南沿海的军事力量，大陈岛解放指日可待，胡宗南所谓的“反共救国”梦想彻底破灭。台湾“国防部”正式撤销了“江浙反共救国军总指挥部”，胡宗南也被调回了台北，挂了一个没有实职的“战略顾问”头衔。

忙了两年的“游击战”，到头来却是一场空。每当带着孩子们爬山的时候，胡宗南总是一个人在山里声嘶力竭地大叫，来发泄自己心中被压抑太久太深的情绪。有一次，胡宗南叫住长子胡为真，问他以后想要做什么事业。胡为真说自己要像父亲一样，做一名军人。

“我要你将来做一个大丈夫！”胡宗南认真地对儿子说。胡为真不懂什么是大丈夫，胡宗南告诉儿子，真正对人们有贡献的人就是大丈夫，譬如大科学家、大工程师、大医生。

后来胡宗南奉命到台北的“国防大学”学习，毕业之后仍没有实际的军政职务，继续挂着“战略顾问”的头衔，在家中闲居。1955年，蒋介石派胡宗南去澎湖担任“防卫司令”，在别人眼里，这可能是屈就，但胡宗南却很高兴，在他看来，越是外岛，越可以打仗。

在澎湖待了4年之后，胡宗南离职回到台北，继续当他的“战略顾问”，自此逐渐淡出军界。

从1960年开始，胡宗南就感觉心脏有些不舒服，医生检查之后，确诊他患有心脏病和糖尿病。经过妻子的百般劝说，胡宗南勉强同意住进医院治疗。

1962年大年初七，蒋经国到医院探望胡宗南，面对这位台湾政府未来的接班人，胡宗南笑着说：“我们浙东谚语称人死为翘辫子，我此次恐怕将翘辫子哉。”没过多久，蒋介石也亲自到医院探望，胡宗南躺在病榻上激动地连连低语：

  • “国家需要我们，领袖也需要我们……”

2月14日凌晨，病榻上的胡宗南突然惊叫数声，一只手高高举起，随后整个人便昏迷了过去。叶霞翟闻讯立刻带着子女赶到医院，胡宗南已经进入弥留之际，很快就因心脏病离开了人世。

蒋介石听说胡宗南去世的噩耗后，倍感沉痛。在当天的干部会议上，蒋介石亲自宣布了胡宗南病逝的噩耗，并在训话中特地加上了一段悼念胡宗南的沉痛语言，对胡宗南作出了极高的评价。

按照胡宗南生前遗愿，他的墓地面朝大海，随时能够“看见”大海另一头的家乡。蒋介石在世的时候，还经常到胡宗南的墓地去待一会。也正因为如此，叶霞翟不敢订双穴，而只有胡宗南一个墓穴。

无论历史对胡宗南有怎样的评价，但有一点是公认的，那就是他对蒋介石是绝对地忠诚和服从，因此有人评价胡宗南是“愚忠”。对此，胡宗南的次子胡为善有不同的看法：

  • “是否‘愚忠’，不同的个体在不同的时代得到的结论不一样。军队里一定要‘忠’，这是军人的操守，不忠怎么打仗？当年在战场上，不管对手是日本人还是中共，每次父亲都希望自己能战死沙场，他最大的遗憾也是没能战死沙场。”