斯宾塞家族坐落在英国北汉普顿的奥尔索普庄园，是一个有着悠久历史的老式英国贵族。戴安娜的父亲爱德华·约翰·斯宾塞子爵是家族中的单传，一家人迫切期望他能早日结婚生子，继承家族遗产。1954年爱德华·约翰·斯宾塞子爵与第四世弗朗西丝男爵的女儿弗朗西丝·罗奇小姐，在威斯敏斯特大教堂举行了盛大婚礼，当时的英国女王和王太后都出席了婚礼现场，被称为“当年最瞩目的上流社会婚礼”。

斯宾塞子爵夫妇结婚以后，在奥尔索普度过了一段时光，然后就迁往诺福克郡的公园屋居住。这是当时老国王乔治五世赐予戴安娜外祖父的礼物，当时的规模很小，后来，斯宾塞子爵夫妇把它建成了一座300多公顷的农场，其中很大一部分是用弗朗西丝继承的2万英镑购置的。重建后的公园屋拥有十多间卧房，宽敞的停车场、室外游泳池，还有网球场和板球场，典型的英国贵族庄园。

子爵夫妇结婚第二年，他们的大女儿莎拉诞生了，又过了两年他们的二女儿珍妮出世。公园屋已有包括厨师、管家和私人家庭教师在内的六个全职仆从，服侍着子爵夫妇一家人。遗憾的是，斯宾塞家族迫切需要一个男孩的降生，来继承家族遗产。戴安娜的爷爷奶奶曾经怀疑她的母亲身体有毛病，不能生男孩，甚至还带戴安娜的母亲到伦敦医院去检查。

在生养两个女儿的巨大压力下，斯宾塞夫人终于生下一名男婴，可惜，这个男孩只活了不到十个小时就夭折了。一家人再度陷入绝望中，子爵夫妇的感情也受到了严重伤害。18个月后，戴安娜降临人间。在一家人都期盼有个男孩来临的时候，戴安娜似乎成为一个“多余的孩子”。戴安娜出世以后就被父母和家人忽视，一直由家中年迈的女佣带大。

其实公园屋对于成长中的孩子来说，简直就是天堂。从戴安娜的二楼卧室向窗外望去，开阔的田野上松树、白桦、紫杉点缀其间，草地上，小牛在吃草，野兔和狐狸窜来跳去，十分可爱。6英里开外的诺福克海岸的海浪声不断传来，湿润的海洋空气让人舒适极了。孩子们还可以在花园里捉迷藏，捉蝴蝶，去湖边喂金鱼，玩滑滑梯，甚至可以去树林间寻找鸽子蛋。夏天他们可以在室外游泳池游泳，在河堤岸野炊。

这些快乐好像与小时候的戴安娜都无关，她拥有的太少了。戴安娜的大姐莎拉比她大6岁，二姐珍妮比她大4岁，她们都不愿意陪戴安娜玩，戴安娜经常孤零零的一个人，形单影只。4年后她的弟弟诞生了，这是斯宾塞家族的唯一男丁，很快成为一家人的宠儿，所有的怜爱都倾注在家里这个唯一的男孩身上，戴安娜益发显得孤单了。从此，戴安娜的眼神里时常带有一丝忧郁。

小时候，戴安娜常常带着弟弟厄尔，去看埋教堂墓地的小哥哥约翰的坟墓，站在无缘相见的小哥哥约翰那块爬满青苔的墓碑前，戴安娜往往陷入冥想：约翰长得怎么样？如果他还活着，世上还会不会还有她和弟弟呢？戴安娜被家里人视为“多余的孩子”，在她幼小的心灵上，约翰那块刻着“爱心记在”的墓碑是一个永久的提示。