1857年、陸奥国胆沢郡塩釜村(現・岩手県奥州市)の仙台藩留守氏家臣の家に生まれた。須賀川医学校卒業後、名古屋で医師となり内務省衛生局に入局。1892年、衛生局長に就任し近代日本の公衆衛生制度を確立。1898年、児玉源太郎の推挙で台湾総督府民政長官に就任、糖業振興・土地調査・衛生改善など台湾近代化を主導。1906年、南満州鉄道(満鉄)初代総裁として鉄道・炭鉱・製鉄の一体経営モデルを構築。逓信大臣・内務大臣を歴任し、1920年、東京市長に就任。大胆な都市計画を提唱したが議会の反対で挫折。1923年の関東大震災直後、内務大臣兼帝都復興院総裁として「帝都復興計画」を立案、現在の東京の骨格となる街路・公園・区画整理の基礎を築いた。1919年から1929年まで拓殖大学第3代学長。「自治三訣」(人のお世話にならぬ・人のお世話をする・報を求めぬ)を説いた。1929年、岡山で脳溢血により死去。享年71。