長門国萩（現・山口県萩市）の長州藩士の家に生まれる。吉田松陰の甥・玉木文之進に学び、戊辰戦争・西南戦争に従軍した。西南戦争では軍旗を敵に奪われる失態を犯し、長く自責の念に駆られた。日清戦争後、台湾総督として台湾の統治に当たった。日露戦争（1904-1905年）では第三軍司令官として旅順要塞の攻略を命じられ、二〇三高地の攻略で旅順を陥落させた。しかし旅順攻囲戦では長子・勝典、次子・保典をともに失うなど多数の部下・自らの息子を死なせた激戦であり、その後生涯にわたって多くの死者への申し訳なさを背負い続けた。明治天皇の侍従武官長・学習院院長として宮中に仕え、昭和天皇（当時・裕仁皇太子）の教育にも携わった。1912年9月13日、明治天皇の大葬の日に妻・静子とともに自刃して殉死した。この「殉死」は日本社会に大きな衝撃を与え、明治的精神の象徴として語り継がれた。森鴎外が「阿部一族」で、夏目漱石が「こころ」で触れた「殉死」のモデルとも言われる。享年63歳。