1971年1月，担任外交大使20多年的耿飚被调任中联部部长，算是对外交战线工作画上一个句号。在此前20多年时间，先后担任过驻瑞典王国大使兼驻丹麦、芬兰公使，驻巴基斯坦大使，外交部党委委员、副部长，驻缅甸、阿尔巴尼亚大使等职。
很多人不知道，原本在1969年时他就可以出任中联部部长职务，但考虑到外交工作需要，上级并没有同意他调任。
那时候中联部归康生负责，他向总理提出从已解放的副部长级干部中遴选一个到中联部担任部长，最好是中央委员，与外国党派有过交往，符合要求的只有耿飚，并推荐担任。毛主席考虑阿尔巴尼亚工作的急迫性，因此没有同意耿飚到中联部，而是去阿尔巴尼亚工作。
这是中联部部长一职一直空缺，直到上级把耿飚调回来，总理提出让耿飚出任中联部部长，得到同意。
中联部与外交部都是涉外工作，最大不同是中联部与其他执政党派，在野党派都保持联络，外交部代表国家，中联部更多是代表党与党之间的联络。
当时的中联部、中组部等归康生主管，让他管中联部也是有原因的。过去他在共产国际工作后，解放后刘少奇负责国际共运问题并指导中联部工作，康协助。现在康主管，具体工作耿飚负责，遇事需要向他请示。上级希望耿飚可以多做康的工作，那时候康身体不好在家养病而遭到冷落，四人帮更加猖獗，争取让他与江逐渐疏远起来。
耿飚担任后，开始组建新领导班子，不少下放的干部得到解放，重返工作岗位上。同时一些不怀好意冲击他，但他顶住压力，解放、落实干部政策。
由于康患病，经常卧病或者在家休养，所以他常常叫妻子曹轶欧代他听取一些部门关于运动和工作的汇报，耿飚觉得这样的做法不符合组织原则。因为很多工作涉密，而且曹的级别和权限并不高，有些事曹就代替处理更不合适。耿飚每次汇报工作时，只给曹谈一下无关紧要的事，凡重要的事情，还是当面向康汇报。有时候康实在不能谈话，向总理请示，但也得罪曹。
比如：中联部上报文件的报送范围时发现：报送名单中有两位中央委员与中联部的工作无关，其中就有曹，认为应该把他们从报送名单中勾掉，有人提醒他，曹是委员，又是中央首长的夫人。耿飚表示：她的职务与文件内容无关，凭借夫人头衔，并不需要阅读这样的文件，如果她是康的秘书或者办公室主任可以。后来对方得知后质问为何不给她文件，耿飚特意找康解释。
曹曾经托人找耿飚，需要安排一个造反派头头到中联部担任副部长，耿飚认为对方在党校闹得天翻地覆，如果来中联部岂不更不好，再次拒绝对方。
耿飚说：对方对方有很大怨气，但也不敢发作。当时康与张之间存在很大矛盾，加上疾病缠身，无力顾及此事。康、曹的结局也是显而易见的。
耿飚在中联部工作到1978年，在1978年提拔为副总理，负责外交事务，分管民航总局、军工部门。并在1979年担任军委秘书长，协助处理中央日常工作。1981年改为国防部长，在特殊的历史转折时期，作出了很大贡献，贯彻新的路线、方针、政策等。1983年，改为人大副委员长在二线继续履职。
