相模国土肥郷(現・神奈川県湯河原町)を本拠とする御家人。平安末期から相模の豪族として地盤を持ち、1180年の源頼朝挙兵に当初から参加した功臣の一人である。石橋山の戦いで頼朝軍が大敗すると、頼朝を真鶴付近の椙山に誘導し、大木の洞に隠して平家方の追手から救ったという逸話は特に有名である。この命懸けの救出により頼朝からの信頼は絶大となった。安房への渡海後も頼朝に付き従い、関東平定・平家追討に奔走した。1184年の一ノ谷の戦いでは搦手軍に加わり平家軍を攻めた。山陽道方面の平氏追討では諸国の押さえとして機能し、戦後に安芸・周防などの守護に任じられた。頼朝死後も幕府に仕えたが、1191年頃に没したとされる。子の遠平は後に小早川氏の祖となり、その系譜は戦国時代まで続いた。