寺伝によれば延暦3年(784年)に最澄(伝教大師)が楠の霊木で十一面観音菩薩を刻んで安置し、当寺を開いたとされる。観音堂は後一條天皇の勅願により長元元年(1028年)に建立されたと伝わる。天正年間に小田原北条氏が長南城を攻めた際に戦火に遭い焼失したが、安土桃山時代(墨書銘から1579〜1597年頃と推定)に現在の観音堂が再建された。この観音堂は61本の柱で支えられた「四方懸造」と呼ばれる日本唯一の建築様式で国指定重要文化財。坂東三十三観音第31番札所として古くから巡礼者が訪れてきた。境内林(笠森自然公園)は暖帯性の植生を残す貴重な自然として国指定天然記念物となっている。