天正8年（1580年）に筒井順慶が築城し、天正13年（1585年）に豊臣秀長が入城して大規模に改修した平山城。秀吉の異父弟・秀長は大和・紀伊・和泉100万石を治め、秀吉政権の屋台骨を支えた。秀長の温厚な人柄は諸大名の調停役として重宝され「大和大納言」と称された。江戸時代には柳沢吉保の子・吉里が入封し、金魚養殖が奨励されたことから「金魚の町」として全国に知られるようになった。現在は石垣と堀が残り、追手門・追手向櫓が復元されている。桜の名所としても名高い。

天正8年（1580年）筒井順慶が築城。天正13年（1585年）豊臣秀長が入城し、100万石の居城として大改修。天正19年（1591年）秀長死去後、養子・秀保が継ぐも文禄4年（1595年）に没し豊臣家直轄となる。関ヶ原後は水野勝成・松平忠明らが入り、享保9年（1724年）柳沢吉里が甲斐から転封、以後明治まで柳沢氏が治めた。