弘仁6年(815年)、弘法大師・空海が四国巡錫中にこの地で霊験ある温泉を発見し、薬師如来像を刻んで安置したことが安楽寺の創建とされる。大師は温泉が病者の癒しとなるよう願い「安楽」の寺号を授けたと伝わり、高野山真言宗の寺院として法灯を継いできた。古くから「弘法の霊湯」として知られたこの温泉は、地域の人々や遍路の拠り所となった。中世以降は四国遍路の第6番札所として定着し、温泉を引いた宿坊が整備されたことで「温泉遍路宿」として全国の遍路者に知られるようになった。現在も薬師如来を本尊に、遍路者が温泉で旅の疲れを癒す霊場として親しまれている。