繁峙县城东四十千米外的天岩村，位于五台山的北麓，一条通往五台山的吉道;从这里穿过。古时，在这段道路的附近，有许多香客选择一些小寺院歇脚，岩山寺就是其中之一。