陸奥国胆沢郡（現・岩手県奥州市）に生まれる。医師として出発し、愛知県立医学校校長を務めた後、児玉源太郎台湾総督の下で台湾民政長官（1898-1906年）に就任した。台湾では「生物学的統治」の原則に基づき、土地調査・阿片政策・衛生施設整備・鉄道敷設など台湾近代化の基盤を精力的に整備した。1906年に初代満鉄（南満州鉄道）総裁に就任し、満洲経営の基礎を築いた。逓信大臣・内務大臣を歴任した後、1920年に東京市長に就任した。1923年の関東大震災後は内務大臣として東京の帝都復興計画を立案し、近代的な道路・公園網の整備を試みた（予算削減で縮小されたが）。「大風呂敷」と称されたが、都市計画の先駆者として高く評価されている。ソビエト・ロシアとの外交折衝にも尽力した。晩年まで政治的活動を続け、1929年に逝去した。享年71歳。