弘仁13年(822年)、弘法大師(空海)がこの地を訪れた際、岩窟に篭もっていた法華仙人から山を譲り受けたと伝わる。大師は三面大黒天と不動明王を刻んで岩窟に安置し、霊場と定めた。断崖絶壁の岩肌に本堂・大師堂を配した独特の伽藍は、古来より修験道の聖地として栄え、平安・鎌倉時代には諸国の行者たちを集めた。中世には荒廃した時期もあったが、江戸時代に復興され、真言宗豊山派の末寺として再整備された。現在も鎖場を伝って登る険しい修行道が残り、四国霊場屈指の難所として全国の遍路に畏敬される。奇岩怪石が連なる幻想的な山岳景観は、宗教的な意義とともに多くの参拝者を魅了している。