武蔵国多摩郡石田村(現東京都日野市)の農家に生まれる。幼少期に両親を失い、家業の石田散薬の行商をしながら剣術を学んだ。近藤勇と出会い、天然理心流の試衛館道場に入門、以後近藤の右腕として行動を共にした。1863年、浪士組として上洛し、やがて新選組が結成されると副長に就任した。「鬼の副長」と称されるほど厳格な局中法度を執行し、脱走・規律違反の隊士を次々と粛清して組織を引き締めた。池田屋事件(1864年)では踏み込み前の作戦立案に貢献し、新選組を幕末最強の剣客集団へと育て上げた。鳥羽・伏見の戦い(1868年)で幕府軍が敗れると、榎本武揚とともに蝦夷地(北海道)へと渡り、函館の五稜郭を拠点に新政府軍と戦い続けた。1869年5月11日、箱館戦争の最中に函館の一本木関門付近で銃弾を受け、35歳で壮絶な戦死を遂げた。その最期まで幕府への忠誠を貫いた生き様は、明治以降に武士道精神の象徴として称えられた。