仙台藩出身の剣士で、天然理心流の免許皆伝を持つ。江戸の試衛館で近藤勇・土方歳三・沖田総司らと剣術修行を共にし、元治元年（1864年）に新選組が正式に組織されると副長・総長に就任した。温厚で学識があり、「新選組の参謀」とも称された。しかし元治2年（1865年）1月に脱走を試み、京都近郊の大津で沖田総司に連れ戻された。局中法度により脱走は死罪となるため、山南は切腹を命じられた。同年2月23日、沖田総司に介錯されて壬生の屯所で切腹した。享年33。その死は幕末を愛するファンにとって特に悲劇的な出来事として語り継がれている。

温厚で知的な人物として知られ、近藤・土方のような武断的な雰囲気とは異なる柔らかさを持っていた。剣の腕も一流であったが、学識と思慮深さで組織を支えた。

組織の知的支柱として新選組の発展に貢献した。切腹での最期は武士の本懐として後世に語り継がれ、多くの創作作品に悲劇的な人物として登場する。