耿飚承诺不驻军香港？邓小平听说后当众发怒

后来，耿飚被“解放”，担任了中国驻阿尔巴尼亚大使。

阿方对中国援助毫无节制的伸手和浪费，引起了他的忧虑。他回忆道：中国援建了纺织厂，但阿国没有棉花，要中国拿外汇帮他们买棉花，做成成衣还硬要卖给中国；援建了化肥厂，对方不要中国的机器设备，指定要用意大利的，中方只好拿外汇买意大利设备；援建电视台后，对方要求每个农业社都要有电视机，而中国当时仅北京、上海有极少量的黑白电视机。

经过反复激烈的思想斗争，耿飚提笔给国内写了一封信，提出这种援助主观愿望是好的，但客观效果不好，反而助长了对方的骄傲、懒惰和依赖思想，建议国内对援阿的规模、内容和方法，都要重新考虑。

李先念后来对耿飚说：你胆子不小，敢说阿尔巴尼亚的“坏话”。周恩来告诉他，毛泽东看了这封信后说：耿飚敢说真话，反映真实情况，是个好大使。

1971年初，耿飚调任中联部部长。因为没有同意江青在中联部下属的外文局主管的《人民画报》上开辟摄影专栏等事，得罪了“四人帮”，日子很难过，一度想要辞职。周恩来坚决不同意，并送了他三句话：人家打你，你自己不要倒；赶你，你自己不要走；整你，你自己不要死。

在粉碎“四人帮”的斗争中，耿飚身负重任。他接受了华国锋和叶剑英交待的任务，在抓捕“四人帮”当夜，带人接管了中央广播事业局。头几天，他就在广播局的办公室支起行军床，睡觉不脱衣、不脱鞋，吃饭、喝水都不离办公室。他回忆，这种责任和压力，比他以前指挥的任何一场战役都大。