持統天皇9年（695年）、吉備国（現・岡山県）の豪族の家に生まれた。717年、22歳の時に第9次遣唐使の留学生として阿倍仲麻呂・僧玄昉らとともに入唐し、経書・史書・法律・軍事・天文暦学など幅広い学問を17年にわたり修めた。735年に帰国すると、儒学・軍学に精通した稀有な人材として橘諸兄政権のもとで重用され、大学助・東宮学士として皇太子（後の孝謙天皇）に経書を進講した。しかし政敵・藤原仲麻呂との対立により、751年に大宰大弐に左遷される。754年には遣唐副使として再び入唐し、鑑真の来日にも尽力したとされる。帰国後の天平勝宝8年（756年）、大宰大弐として、新羅との緊張の高まりを受けて筑前国怡土郡（現・福岡県糸島市）に中国式山城・怡土城の築城を開始した。真備が大宰府を離れた後は佐伯今毛人が築城を引き継ぎ、神護景雲2年（768年）に完成した。764年の藤原仲麻呂の乱では孝謙上皇方の作戦立案に参与して勝利に貢献し、乱後は異例の出世を遂げて766年に右大臣にまで昇進した。学者出身でありながら公卿の最高位に上り詰めた稀有な人物として知られる。宝亀6年（775年）、81歳で没した。

二度の入唐で得た幅広い学識と実務能力を兼ね備えた稀代の学者政治家。政争による左遷を経験しながらも、大宰府では防衛拠点の築城という実務に手腕を発揮し、政界復帰後も軍略家として頭角を現した。学問と実践を両立させた柔軟さが際立つ人物。

学者でありながら右大臣にまで昇りつめた異例の出世は、後世「学問による立身」の象徴として語り継がれた。怡土城は完成には至らなかったものの、真備が着手した築城は大宰府防衛史・古代山城研究における重要な事例として、城跡は国の史跡に指定されている。