長州藩の下級武士・杉家の次男として生まれ、叔父・玉木文之進が主宰する松下村塾で幼少より兵学を学んだ。天才的な記憶力と理解力で藩校・明倫館の兵学師範代を務めるほどの秀才であった。全国遊学で広く見聞を広め、佐久間象山に学んで海防思想を深めた。ペリー来航時（1853年）には「今こそ西洋を学ぶべき時だ」と黒船への密航を企てたが失敗し、投獄・蟄居の処分を受けた。出獄後、萩の実家敷地内の「松下村塾」で主に藩士・郷士の子弟を教えた。高杉晋作・久坂玄瑞・伊藤博文・山県有朋・前原一誠ら、後に明治維新を主導する多くの人材を育てた。「草莽崛起（そうもうくっき）」——身分に関わらず民が自ら立ち上がれ——という思想は革命的であった。安政の大獄（1859年）では幕府老中・間部詮勝の暗殺計画が露見し、1859年11月に30歳で処刑された。松下村塾の跡地（山口県萩市）は今も多くの旅人が訪れる史跡であり、明治の夜明けを準備した先師の教えを今に伝えている。