大同4年（809年）に桓武天皇の皇子が近江国坂本の日吉大社から分霊を勧請したと伝わる武蔵小杉エリア最古級の神社で、治承2年（1178年）には平重盛により再建されたと伝わる。鎌倉後期に当地・丸子荘が延暦寺恵心院領となると、その鎮守社として機能し、戦国期には小田原北条氏・豊臣秀吉から保護を受けた。特に天正18年（1590年）の多摩川川筋変更に伴う上丸子郷と世田谷領沼部郷の境界裁定を記した北条氏直の「虎の印判状」2点が現存し、川崎市重要歴史記念物に指定されている。江戸時代には徳川家光から社領20石を拝領。本殿は元文5年（1740年）建立の三間社流造で、市内現存の江戸時代神社本殿としては唯一の事例として平成2年に川崎市重要歴史記念物に指定された。「上丸子山王町」の町名もこの神社に由来する。