唐高宗时，狄仁杰任监察御史，发现当时江南一带祠庙极多，什么鬼啊神啊的都有个庙，甚至一个小村庄就有五六个庙。建庙兴土木，劳民伤财，老百姓有什么事就去磕头烧香，严重地影响了民生。狄仁杰居庙堂之高怀江湖之远，对此他十分忧虑，他决定使用雷霆手段：拆庙烧庙！

江南的祠庙处理得差不多了，狄仁杰又巡视到了岭南。他到端州时，看到有座蛮神庙，他问：这个蛮神是做什么的？当地官员说：当地居民信奉，如不按时祭奠，蛮神就会兴风作浪，庄稼绝收，使人畜得瘟疫。狄仁杰说：不给香火祭祀，就做坏事，好事是一点都不做。那狄某给他来把大香火。他下令：把这座庙烧掉！

然而，派去的人刚一进庙就死了。当地官员抖抖缩缩地说：狄公您看到了，这蛮神生气了，不好对付啊，我看算了吧。狄仁杰转过头，问了问身边的千牛卫将军：元芳，你怎么看？李元芳说：大人，这等魑魅魍魉又有何惧，让我去！说罢抽出了链子刀就准备进庙。狄仁杰说：且慢。他从怀中掏拿出了高宗皇帝的诏书，递给李元芳说：你进庙先宣读诏书再做行动。

李元芳来到庙门口，展开诏书诵读起来。读完，李元芳向着庙内的蛮神像大喝一声：狄公烧庙，乃是奉圣上之命，为民除害，尔等乱神异鬼如有阻拦，定斩不敕！此时再看蛮神像，面似有惧意，一动不动。他掏出火镰，一把火把蛮神庙烧了。

后来，狄仁杰回到汴州，在街上遇到一个能通鬼神的人对他说：大人，您身后跟着一个神怪，衣衫焦糊。一路说着您把他的房舍烧毁了，他无处安身，要寻机报复大人。狄仁杰问：这神怪是哪里来的？那人说：他说是端州的蛮神。狄仁杰轻蔑一笑：岭南到此，千山万水，为何一直跟着我，却不报复？

通神鬼之人向着狄仁杰深鞠一躬：大人您高居三公宰辅之位，正气浩然，身边常有二十余鬼神随从护佑，区区蛮神奈何不得。果然没过几天，此人再见狄仁杰时，告诉狄公：那个蛮神见奈何不了您，已经回岭南去了。

狄仁杰巡视江南岭南，焚拆乱庙淫祠，除了一些比较重要的夏禹王、吴太伯、季札、伍子胥等庙外，焚毁其余祠庙一千七百余座，大大减轻了当地人民的负担。（出《广异记》）