1894年（明治27年）4月7日、兵庫県神戸市に生まれた。生後200日ほどで目を患い、7歳で完全に失明。8歳で神戸の2世中島検校に入門し箏曲を学び、11歳で免許皆伝となる。1907年（明治40年）13歳の時、家業で朝鮮・仁川に移住、16歳で琴の師匠として独立、17歳で「水の変態」を作曲し作曲家としての才能を示した。22歳で最高位の「大検校」となる。1917年（大正6年）23歳で上京、本格的に作曲・演奏活動を展開。1920年、本居長世（もとおりながよ）・尺八奏者・吉田晴風らと「新日本音楽」運動を起こし、邦楽に西洋音楽の要素を導入する革新運動を展開した。1929年（昭和4年）、尺八との二重奏曲「春の海」を作曲、日本の邦楽曲としては最も有名な作品となり、1932年にはフランスの女性ヴァイオリニスト、ルネ・シュメーが編曲してパリで演奏、世界的に知られた。東京音楽学校（現・東京藝術大学）邦楽科教授として後進を育成。随筆家としても『雨の念仏』『垣隣り』など多数の著作を残した。1956年6月25日、演奏旅行のため東海道本線の夜行列車から転落し、刈谷駅近くで62歳で死去。事故死か自殺かは現在も不明。