文政6年（1823年）、旗本・勝小吉の長男として江戸本所に生まれる。幼名は麟太郎。貧しい下級旗本の家に育ちながら、独学で蘭学と兵学を修めた。
安政2年（1855年）、長崎海軍伝習所に入り、オランダ人教官から航海術を学ぶ。万延元年（1860年）、咸臨丸の艦長として太平洋を横断し、日本人による初の太平洋航海を成し遂げた。この渡米経験が海舟の視野を世界に広げ、以後の開国論の基盤となった。
元治元年（1864年）、軍艦奉行として神戸海軍操練所を設立。ここで坂本龍馬・陸奥宗光ら幕末の志士たちを育てた。海舟は身分や藩の垣根を超えて人材を育てる開明的な姿勢を持ち、敵味方の区別なく才能ある若者を導いた。
慶応4年（1868年）3月、鳥羽・伏見の敗戦後、徳川慶喜から全権を委ねられた海舟は、新政府軍参謀・西郷隆盛との直接交渉に臨んだ。3月13日・14日、高輪の薩摩藩邸で行われた会談で、海舟は江戸城の無血明け渡しを実現させた。100万人の住む江戸を戦火から救ったこの交渉は、日本史上最大の外交的偉業と評される。
明治以降は政府の要職を歴任しながらも、旧幕臣の救済に尽力。枢密院議長なども務めた。明治32年（1899年）1月19日、77歳で没。遺言により洗足池畔に葬られた。傍らには、かつての敵であった西郷隆盛の留魂碑が建つ。