在黄蓉和郭靖结婚几个月之后，素来喜欢“清静”的黄药师不打招呼就离开了自己的“大别墅”，将偌大的家业全部留给了郭靖黄蓉，从此在外漂泊流浪十来年，直到后来郭靖黄蓉来到襄阳定居后才回到桃花岛居住。