康永元年(1342)、紀州から熊野三社を勧請して建立した熊野堂祥泉庵に始まり、もとは真言宗の堂庵であった。上杉長尾氏の寄進を受けて基盤を固め、享徳3年(1454)に建長寺第19世仏恵禅師の法孫・華栄玄香禅師によって臨済宗へ改宗・中興された。江戸初期の慶安元年(1648)、徳川家光より御朱印高11石余を拝領し、幕府の認可を受けた格式ある寺院となった。数度の火災に遭い、現在の本堂は青山庄屋の家を移築再建したもの。境内には「銀杏抱地蔵」と呼ばれる、イチョウの樹幹の空洞に安置されたお地蔵さまがある。明治の偉人・尾崎行雄(尾崎咢堂)の先祖の菩提寺としても知られる。