伊東義祐は1568年、約5か月に及ぶ包囲戦の末に島津方から飫肥城を奪い、伊東四十八城の要とした。しかし1572年の木崎原の戦いで島津義弘に大敗して勢威を失い、1577年に日向を追われて豊後へ落ち延びた。この城跡は伊東氏興亡の縮図を伝える。