沼間の総鎮守として古くから地域の氏神に祀られてきた神社である。五霊の名は五柱の神霊を合祀することに由来するとされ、地域の守護神として崇敬されてきた。沼間は鎌倉時代から三浦半島方面への街道筋に位置する集落で、鎌倉幕府の時代には武士団が往来する交通の要衝であった。五霊神社はこうした歴史的環境の中で、沼間の住民の生活と祭祀の中心として機能してきた。例祭では神輿の渡御や伝統的な神事が行われ、地域の絆を深める場となっている。明治の神仏分離以降も地域住民の崇敬を集め続け、現在も初詣や七五三など四季折々の参拝者が訪れる。