応徳3年（1086年）、鎮守府将軍・源義家（八幡太郎）が後三年の役で奥州平定に向かう途中、当地で宿営した際に遠く富士山を望み、さらにその先の安芸・厳島神社に戦勝を祈願。奥州平定を成し遂げた義家が、凱旋の帰途に戦勝のお礼として当地に厳島神社を勧請し創建したと伝わる。境内が南北に通り抜けできることから「抜弁天」の俗称で呼ばれ、「苦難を切り抜ける」弁天社として江戸の庶民から篤く信仰された。江戸六弁天の一つに数えられ、新宿山ノ手七福神の弁財天も当社。周辺には「抜弁天通り」「抜弁天交差点」の地名が残り、土地の記憶として今も息づく。元禄8年（1695年）には綱吉の生類憐みの令により付近に約25,000坪の犬小屋が設けられた歴史もある。