这座人工峰就是花石纲堆砌的万岁山，也叫艮岳。花石纲激起东南农民起义，导致国力耗损，在联金灭辽的过程中，宋军一败再败，引起了金国的觊觎之心，辽亡之后，金国转而将侵略的目标转向北宋，大举入侵，从而导致了北宋的灭亡。

“花石纲”即奇花异石之类的贡品。茅山第二十五代宗师刘混康道士向皇帝进言，要想多子多寿，需在京城内筑山。政和七年（公元1117年），徽宗命令“户部侍郎孟揆于上清宝箓宫之东筑山象余杭之凤凰山，号曰万岁山，既成更名艮岳”，丞相蔡京推荐了朱勔在东南江浙沪一带采办用于修建万岁山的花石纲。

平民人家只要有一石一木可观，官军便直入其家，强行夺走。浙江睦州青溪县帮源洞，盛产漆楮竹木，正是皇家看中的上等物品，许多人家因此倾家荡产。家有漆园的方腊，受害颇深，家中多次被造作局“酷取”。宣和二年(1120年)，方腊不堪忍受，率众起义。方腊起兵这年，正是宋金“海上盟约”的签订之时，宋金双方约定，宋金同时攻辽，金取辽的中京大定府，宋取辽的燕京析津府。

方腊攻取了睦、歙两州之后，势力大增，各地也纷纷响应，短短几月，义军竟达百万之众，成为两宋历史上规模最大的一次农民起义。在方腊攻破了睦州等地后，徽宗皇帝赶紧下令撤消了苏杭造作局并停制花石纲，以示悔过之意。

义军掣肘东南，完全打乱了宋朝联金攻辽的计划。眼看方腊势大，宋朝尽起全国精锐与之作战。宣和二年底，徽宗任知枢密院事童贯为江、浙、淮南路宣抚使，并调原驻淮东的东南第一将和原驻荆湖北路的东南第七将，以及驻于京畿的第四将南下镇压方腊义军。后又派准备与金联合攻辽的“陕西六路汉蕃精兵”南下，这几十万精兵当初全是为攻辽而准备的，现在全都调来了东南战场。宋军全力以赴之后，于宣和三年(1121年)五月，终于剿灭了方腊。

剿灭方腊之际，宣和三年二月，金遣使督促北宋如约攻辽，可是此时的北宋分身乏术，草草打发金使之后，也未派遣使者继续协商攻辽之事，以致金国认为北宋已经毁约。

宣和三年底，不再指望北宋的金国出兵大举进攻辽国，次年正月即攻克辽中京大定府，辽天祚帝狼狈逃窜。宋看到辽的崩溃，也仓促派童贯、种师道出兵。可是，远征方腊，已经使宋朝大伤元气，此番征辽，本为仓促，军队更显散乱。宋军几次出击，竟均被辽国残师击溃。

看到宋军的不堪一击，金在灭辽之后，也兴起了图宋之念。宣和七年(1125年)十月，金大举侵宋，不到两年，靖康二年(1127年)二月，金克汴梁，徽宗钦宗被掳至塞北苦寒之地坐井观天，北宋就此灭亡，此即为“靖廉之难”。此皆由“花石纲”所引发。

京城陷落之后，时值寒冬，民众涌入艮岳，将这座皇家园林拆碎，所有的木材都被汴京民众哄抢烧火取暖。