武蔵国多摩郡石田村（現東京都日野市）の農家に生まれる。幼少期に両親を失い、家業の石田散薬の行商をしながら剣術を学んだ。近藤勇と出会い、天然理心流の試衛館道場に入門、以後近藤の右腕として行動を共にした。1863年、浪士組として上洛し、やがて新選組が結成されると副長に就任した。「鬼の副長」と称されるほど厳格な局中法度を執行し、脱走・規律違反の隊士を次々と粛清して組織を引き締めた。池田屋事件（1864年）では踏み込み前の作戦立案に貢献し、新選組を幕末最強の剣客集団へと育て上げた。鳥羽・伏見の戦い（1868年）で幕府軍が敗れると、榎本武揚とともに蝦夷地（北海道）へと渡り、函館の五稜郭を拠点に新政府軍と戦い続けた。1869年5月11日、箱館戦争の最中に函館の一本木関門付近で銃弾を受け、35歳で壮絶な戦死を遂げた。その最期まで幕府への忠誠を貫いた生き様は、明治以降に武士道精神の象徴として称えられた。

鉄の意志と冷徹な判断力を持ちながら、仲間への深い情愛と美意識も併せ持つ複雑な人物。厳しさの陰に俳句を好む文人的側面があり、戦場でも辞世の句を残している。近藤勇への絶対的な忠誠心と、武士として生き武士として死ぬという強烈な信念が行動の根底にあった。

幕末最強の剣客集団・新選組の象徴的人物として、明治以降も「武士の鑑」として語り継がれた。函館での最期の抵抗は旧幕府勢力の悲劇的終幕として文学・映画・漫画・ゲームで無数に描かれており、日本の歴史上最も人気のある人物のひとりとして現代にも絶大な支持を集める。