創建年代は不詳だが、凡そ五百年前(室町・戦国期)に京都・伏見稲荷大社の御分霊を高輪に勧請したと伝わる。当初の社地は久留米藩有馬家の屋敷地東北の丘上にあり、二百数十段の石段が続く山峰の社殿ゆえ「高山」と称された。明治5年(1872年)、旧社地に毛利公爵邸が建設されるにあたり毛利家より替地の寄進を受けて遷座。大正12年(1923年)の関東大震災後は国道拡張で参道が移動し、昭和6年(1931年)に現社殿が造営された。昭和63年(1988年)の鳥居・屋根改修を経て、令和7年(2025年)12月には国道15号拡幅事業により再び遷座し、高輪の守護稲荷として現在に至る。