京の下級貴族の出身で、もとは中原姓を名乗った。学識と実務能力を買われて源頼朝に招かれ、鎌倉幕府の文官筆頭として公文所別当、のちに政所別当を務めた。文治元年(1185年)には全国への守護・地頭の設置を頼朝に建議したと伝わり、武家政権が全国支配を及ぼす制度的基礎を築いた人物とされる。頼朝の死後も幕政の中枢にあり、十三人の合議制の一員として、また北条義時の盟友として幕府を支えた。承久3年(1221年)の承久の乱では、迷う御家人に対し京への積極的な出兵を強く主張し、幕府方の勝利を決定づけたと『吾妻鏡』は伝える。晩年に大江姓を称した。嘉禄元年(1225年)に78歳で没。子孫からは戦国大名・毛利氏や出羽の寒河江大江氏が出た。