1843年、上州安中藩士・新島民治の長男として江戸藩邸に生まれた。幼名・七五三太。藩校で儒学を学び、のち蘭学・英学に触れた。漢訳聖書に出会い、聖書の神・「真の主」を求めて1864年、禁を犯して函館からアメリカ船ベルリン号に密航。翌年ボストンに到着、船主アルフィーアス・ハーディ夫妻に養われジョセフ・ハーディ・ニイシマの名で洗礼を受けた。フィリップス・アカデミー、アマースト大学、アンドーヴァー神学校に学び、1874年に帰国。アメリカン・ボードの支援を得て、1875年、京都に同志社英学校を開校(創立時は生徒8名、教師2名)。山本覚馬・新島八重らの協力を得てキリスト教主義の高等教育機関を育てた。神学校・大学への昇格を目指して奔走する中で健康を損ない、1890年、神奈川県大磯で48歳の生涯を閉じた。「良心の全身に充満したる丈夫の起り来らんことを」が臨終の遺言と伝わる。