据登州史志记载，宋朝建隆三年的时候，内外军，有不律者，配沙门岛。所以说，沙门岛就是一个流放犯人的海上监狱。

宋朝政府设置了很多劳改营，分别用来安置犯罪程度不同的劳改犯，《宋史 · 刑法志》里记载：配隶重者沙门岛寨。其次岭表，其次三千里至邻州。

意思是说，如果你犯得罪比较轻，就把你发配到离家乡比较近的劳改营，如果你犯得罪比较重，就把你发配到离家乡比较远的劳改营。如果你犯得罪很重就把你发配到海南和广东两个省份的劳改营，而那些犯罪尤其重的，差一点就要判死刑的犯人，就把他发配到沙门岛。

吕洞宾原名叫吕岩，吕岩二十岁的时候中了状元，因被人陷害发配到沙门岛。当时的沙门寨寨主叫李庆，以虐杀囚犯为乐，此人在沙门岛做了两年的寨主，前后杀掉了七百多个劳改犯。

吕岩到了后发现李庆的可怕，他决定把李庆研究透彻，最后他还真发现了，李庆残暴的原因是缺粮，岛上只有八十户人家，朝廷每年划拨的粮食都是固定的，而朝廷每年都要源源不断的把犯人运送到这里来。

宋朝有个官员叫王举元，在公园1058年上了一个奏折，记载了发配到沙门岛犯人的处境。发配到沙门岛的犯人10年有3000多人，最后活下来的只有180多个。

于是吕岩决定越狱，沙门岛的地理位置决定着一个人越狱根本不可能，找了六个人，决定一起越狱。

八仙之汉钟离，原名钟离权，曾是一个将军，因为讨伐辽国失利，被充军发配到这里。八仙之曹国舅，本命曹休景，是宋仁宗的大舅子，后来曹皇后失宠，受连累进了监狱。八仙之铁拐李，原名李凝阳，喜欢打抱不平，被宰相家人打断一条腿发配。

八仙之蓝采和，原名许坚，蓝采和是艺名，在勾栏李唱杂剧，因为一场演出失利发配沙门岛。八仙之张果老，为人疯疯癫癫，自称大禹时代的人，被当做妖人发配到这里。八仙之韩湘子，本是大文学家韩愈的后人，得罪了人发配到这里。

他们在聚仙洞开会预谋策划逃跑的时间，气象，出发的地点，到达的方向，要避过的地方，一套非常成熟的越狱计划。结果八仙之何仙姑发现了这里，何仙姑她的丈夫犯罪了被发配到这里，李庆把何仙姑的丈夫弄死，想霸占何仙姑，其他几人对她非常同情，决定一起逃走。

他们找来一些辅助工具，有驴皮，木盆，葫芦等。吕岩率先跳进海里，也不知道过了多久终于游到了蓬莱县的丹崖山下。后来被许多人看到，由于长时间被浸泡在海里，他们眼圈发红，嘴唇发白有异于常人，后来有人报官，他们就又都逃跑了。就是这样，人们越传越神，就这样成了神话中的八仙过海。