1546年、播磨国姫路の小寺家に仕えた黒田家に生まれた。父・職隆は姫路城代。若くして小寺政職の家老として頭角を現し、1567年に荒木村重の謀反の際には単身で説得に赴いたが逆に幽閉され、1年以上の過酷な土牢生活を余儀なくされた。救出後は足が不自由になった。早くから羽柴秀吉に仕え、中国攻めでは備中高松城の水攻め（1582年）を献策。本能寺の変後は迅速に「中国大返し」を建策し、秀吉の山崎の戦いを支援した。その頭脳明晰さは秀吉に「自分の次に天下を取るのはこの男」と警戒されるほどであった。1587年にキリスト教に入信し洗礼名はシメオン。1588年に嫡男・長政に家督を譲り「如水」と号して隠居したが、実質的な影響力は保持し続けた。関ヶ原の戦いでは長政を東軍に参加させる一方、自らは九州で大友・小西・立花などの西軍勢力を次々に撃破して勢力を拡大。「関ヶ原の決着が長引けば天下が取れた」と嘆いたとも伝わる。1604年に58歳で没した。

天才的な軍略家で「今孔明」と称された。主君・秀吉にすら警戒されるほどの知略を持ちながら、息子・長政の将来のために自らは身を引く深慮遠謀の人。

竹中半兵衛と並ぶ秀吉の二大軍師として名高い。息子・長政は関ヶ原の功績で筑前福岡藩52万石を得て、福岡の礎を築いた。2014年のNHK大河ドラマ「軍師官兵衛」の主人公。