1546年、播磨国姫路の小寺家に仕えた黒田家に生まれた。父・職隆は姫路城代。若くして小寺政職の家老として頭角を現し、1567年に荒木村重の謀反の際には単身で説得に赴いたが逆に幽閉され、1年以上の過酷な土牢生活を余儀なくされた。救出後は足が不自由になった。早くから羽柴秀吉に仕え、中国攻めでは備中高松城の水攻め（1582年）を献策。本能寺の変後は迅速に「中国大返し」を建策し、秀吉の山崎の戦いを支援した。その頭脳明晰さは秀吉に「自分の次に天下を取るのはこの男」と警戒されるほどであった。1587年にキリスト教に入信し洗礼名はシメオン。1588年に嫡男・長政に家督を譲り「如水」と号して隠居したが、実質的な影響力は保持し続けた。関ヶ原の戦いでは長政を東軍に参加させる一方、自らは九州で大友・小西・立花などの西軍勢力を次々に撃破して勢力を拡大。「関ヶ原の決着が長引けば天下が取れた」と嘆いたとも伝わる。1604年に58歳で没した。