天平勝宝8年（756年）、遣唐使として2度渡海し兵法にも通じた吉備真備が大宰大弐として怡土城の築城を開始した。中国式山城の様式を取り入れたとされ、真備の後は佐伯今毛人が引き継ぎ、神護景雲2年（768年）に完成した。