谷正文晚年接受口述历史访问，提到他与叶翔之长达十余年的生死缠斗，说了一句话：“我当了半辈子特工，从来都是我去包围别人，想不到最后要在自己家里打防御战。”
谷正文说这番话，是有所指的。
那几年，他每晚临睡前都要把一挺机关枪搬上二楼卧室的窗台，枪口正对着自家巷口。他交代妻子，夜里只要听见大门有异常动静，不要犹豫，直接朝楼下开枪。那个让他如此枕戈待旦的人，正是保密局另一员行动大将，他的死敌叶翔之。
谷正文与叶翔之的仇怨，是台湾情报系统内部派系倾轧的一个典型。
两人同出军统戴笠门下，到了毛人凤执掌保密局的时代，各自成为局内的重要角色。叶翔之比谷正文年长几岁，早年参与过对李宗仁的暗杀谋划，在行动圈子里资历很深。而谷正文自视更高，他认为自己办案靠的是头脑而非蛮力。
他在回忆录《白色恐怖秘密档案》中评价叶翔之，措辞相当刻薄，说此人除了玩女人，什么都不懂，办行动搞暗杀勉强可以，搞情报完全是外行。
这种互相看不起的情绪，在毛人凤生前就已经相当公开化。谷正文在口述中透露，叶翔之曾在毛人凤面前告过他的状，说他办案手脚不干净，收黑钱，目无长官。毛人凤对此没有深究，把两边都压了下来。谷正文心里清楚，毛人凤是他在局里最大的依仗，只要这个靠山还在，叶翔之就动不了他。毛人凤一死，形势立刻逆转。
1956年毛人凤病故，保密局先是经历了一段人事过渡，随后改组为情报局。谷正文很快发现自己在新局面中孤立无援，他所属的毛氏派系失去核心，旧日的同僚纷纷改换门庭。
他在口述中回忆，叶翔之在情报局地位迅速上升，逐步掌握了实权，自己则被安排到一个毫无指挥权的虚职上，连调阅卷宗都受到限制。谷正文对此的解读非常直接，他认为叶翔之的目的是先剥夺他的一切职权，让他变成一个困在笼子里的人，再找机会彻底收拾掉。
谷正文不是那种坐以待毙的性格。他一面开始在家中布置防御，预备武器，加固门窗，日夜提防；另一面发动了他在台北街面和旧日同僚中的人脉，反向搜集叶翔之的黑材料。
谷正文早年在北平和台北都布下过不少线民，跟社会底层的关系远比一般情报官复杂，这是他自保的最大资本。没过多久，他通过自己的信息渠道得知，有人正针对他策划一场精密的“意外”。谷正文在口述中没有把这场未遂暗杀的谋划者直接说成是叶翔之本人的命令，但他坚定地认为，这背后就是叶翔之在主持，而且情报局的经费被用来收买了执行者。他调整了自己的一切行动规律，让对方无从下手。
与此同时，他把叶翔之贪财好色的证据一桩桩整理成材料。叶翔之在任内动用经费牟取个人利益，又在外面与歌星张茜茜有长期关系，这些事在圈子内部并不是秘密，但向来没有人敢捅破。
谷正文把这些材料连照片带账目整理成册，通过自己的管道送到了蒋经国面前。谷正文回忆，蒋经国翻阅这些材料时说了“太不争气”这四个字。从那一刻起，叶翔之在最高层那里的信任已经被打了一个不可修复的折扣。
但叶翔之对谷正文的步步紧逼并未停止。
谷正文回忆，那段时间对方派出的人多次到他住处附近勘察地形，有几次已经逼近到可以动手的距离。于是才有了他在二楼窗台上架起机关枪的那一幕。谷正文对此有过一段很冷的自嘲，他说自己办了一辈子政治案件，从来都是他把别人逼到绝路，到老了居然要学习怎么在自家宅子里打巷战。两个老特工之间的对峙，终于以一次面对面的冲突进入白热化。谷正文在口述中称，他有一天径直走进叶翔之的办公室，把随身携带的手枪拍在对方桌子上，说了一段大意是“你要我的命，当面来拿，不要背地里动手脚”之类的话。
叶翔之当场脸色大变，连声说是误会。谷正文事后评价，叶翔之这种人吃硬不吃软，碰上比他更不怕撕破脸的，就缩回去了。
这场对抗最终以双双出局收场。
叶翔之在情报局局长任内，因涉及局内舞弊案，加上其他几桩丑闻先后被揭露，遭到监察部门弹劾，蒋介石最终批示让他提前退休。
谷正文则在叶翔之去职前后，也主动辞去了职务，从此离开情报体系，到大学教书、开书店，过起另一种生活。
他在口述里讲起这段结局的时候，语气里没有多少胜利者的得意，更多的是一种冷眼看透的漠然。他骂叶翔之是好色之徒、行动粗坯，随即又补了一句：“不过到头来，他也没赢，我也没输，我们这种人，不过是争着做一条更得宠的狗罢了。”
两人斗了十几年，一个靠毛人凤的宠信起家，一个在毛死后试图以整肃旧部来巩固权位，说到底争的是同一块地盘上的生存空间。
谷正文一生制造过无数人的恐惧，晚年却被同僚制造的恐惧逼到架枪自卫的地步，这本身就是一种残忍的循环。他对历史研究者讲出那句“争着做一条更得宠的狗”时，大概已经不在乎什么派系归属和历史评价，只是把那段倾轧岁月最不堪的底色，毫无遮掩地摊在了桌面。
