没有成家、嗜烟酗酒的安思远，在生命的中后期，亲友也在逐渐退场：他生命中最重要的两个女人——导师爱丽丝·庞奈1988年去世，挚友克劳黛·考尔白1996年去世。和考尔白同一天走的，还有王方宇的夫人沈慧。

庞奈是最早在纽约经营东亚艺术的古董商之一，上世纪二十年代婚后在曼哈顿开设艺廊，安思远十七岁就与她相识，并借其引领进入职业艺术品市场。《中国家具：明清硬木家具实例》一书中有言：将此书献给导师庞耐。

考尔白则是著名影星，最出名的两个角色是第一代埃及艳后和《一夜风流》中的富家千金，后者让她成为1934年的奥斯卡影后。上世纪六十年代考尔白第二任丈夫去世后，她委托安思远处理遗产中的家具，二人因此交好。考尔白年长安思远20余岁，待他既像母亲又像姐姐，1977年安思远买下五大道公寓前，二人一直同住，彼此照应。