神仏習合時代は「霊現堂」として信仰を集めた霊場で、明治初期の神仏分離により斗賀神社となった。社額には「霊現山」の文字が残り、境内には梵鐘も現存する。糠部三十三観音の第16番札所でもある。