建長年間（1249〜56）の大洪水の際、比企郡吉見町御所に鎮座する横見神社が流水により当地に漂着したことが起源と伝えられます。『新編武蔵風土記稿』には「当社は元御所村なりしが、水災に逢て漂着せしを、取上て爰に祀」ったと記されています。当初、すでに当地に鎮座していた愛宕社を末社とし、御所の横見神社の旧称にちなんで飯玉明神社と称していました。無量寺が別当として祭祀を担ったとされます。明治4年（1871）に村社に列格されるとともに、本社にならって社号を横見神社と改めました。祭神は素戔嗚尊・稲田姫命・宇賀御魂命の三柱で、延喜式内社である武蔵国横見郡の横見神社の論社のひとつにも数えられています。