長治元年(1104年)、摂津源氏の名門に生まれた。和歌と弓術に優れ、仁安3年(1168年)に77歳で従三位に叙せられ、源氏で初めて公卿の地位に達した武士として知られる。鵺(ぬえ)退治の伝説でも有名である。1180年、平氏の圧政に憤慨した以仁王(後白河天皇の皇子)を奉じて挙兵した。宇治川の合戦で平氏軍に追い詰められ、平等院で自害した。享年77歳。頼政の挙兵と以仁王の令旨は、各地の源氏に蜂起の口実を与え、源頼朝・木曽義仲らの挙兵につながった。治承・寿永の乱(源平合戦)の発端となった重要な人物である。辞世の句「埋木の花咲くこともなかりしに身のなるはてぞ悲しかりける」は名句として知られる。