伊東氏一族の祐兵は、父・義祐が島津氏に敗れて日向を追われた後、豊臣秀吉に仕えて1587年の九州平定で先導役を務めた。その功により旧領飫肥城を与えられ、1588年に入城。以後伊東氏は280年余・14代にわたり飫肥藩主としてこの城を本拠とした。