弘仁6年（815年）、空海が当地で修行中に大日如来を感得し、自ら一刀三礼して大日如来像を刻み本尊として開創したと伝わる。山号「黒巌山」は山深く岩の多い地形に由来。中世には四国八十八ヶ所霊場の第四番札所として発展したが、天正年間（1573-92年）に長宗我部元親の兵火で堂宇を焼失。江戸時代初期に阿波藩主蜂須賀家の庇護を受けて再興され、寛保年間（1741-44年）に現在の本堂が建立された。境内の本堂と大師堂を結ぶ回廊には西国三十三観音像が安置され、一巡すれば西国三十三所巡礼と同じ功徳があるとされる独特の信仰が伝わる。徳島駅周辺の札所群（1番霊山寺〜10番切幡寺）の中盤に位置する重要な札所。