三浦氏の水軍基地として機能した要害堅固な城跡。三浦義明の末弟・義実（岡崎氏）の後、長男・義宗（杉本氏）が居城したと伝わる。『源平盛衰記』に「三方は石山高うして、馬も人も通ひ難き悪所なり。一方は海口に道一つ開けたれば、よき者十二百人あらば、たとい敵何萬騎寄せたりとも、たやすく責め落とすべからず」と記された天然の要害。治承4年（1180年）の衣笠合戦で三浦義澄はこの城に退き、東の谷の「船倉」から船で安房の頼朝のもとへ脱出した。現在の「舟倉」の地名はこの故事に由来する。台地上には縄文時代の吉井貝塚（神奈川県指定史跡）も発掘されている。

治承4年（1180年）8月、源頼朝の挙兵に呼応した三浦義澄は、石橋山の敗報を聞いて衣笠城に引き返すが、畠山重忠の大軍に攻められ衣笠城は陥落。義明が殿を務めて討死する中、義澄以下の一族はこの怒田城に退いた。東の谷に常繋していた三浦水軍の船で安房に渡海し、頼朝と合流。以後、三浦一族は鎌倉幕府創設の中核となる。怒田城は三浦水軍の発祥の地であり、海と陸の結節点として三浦氏の命運を左右した戦略拠点であった。