1932年，杨森和妻子小妾的罕见全家福。镜头下，48岁的杨森和正妻谭氏坐在C位的凳子上，怀中抱着两个受宠的孩子。其他四个女人分别是三姨太刘谷芳、四姨太田衡秋、五姨太萧邦琼、六姨太陈顺容，个个穿着绫罗绸缎，打扮得光鲜亮丽，脸上洋溢着幸福的笑容。

杨森喜欢美女，据记载，他拥有的女人就有十二位之多，个个如花似玉，简直是皇帝般的待遇。这些女人给他生下了43个子女，可谓人丁兴旺。为了平衡自己众多妻妾之间的关系，据说杨森还在家里采取了半军事化的管理。在杨森九旬时，他目光独钟于一位名叫张灵凤的女子，执意娶她入府，令人称奇！