永享4年（1432年）、扇谷上杉氏の家宰・太田資清の子として生まれる。幼名は鶴千代。足利学校で学び、文武両道の教養を身につけた。
長禄元年（1457年）、25歳の道灌は主君・扇谷上杉持朝の命を受け、武蔵国豊島郡に江戸城を築いた。荒川・利根川水系と江戸湾が交わる要衝に着目し、日比谷入江を天然の堀とした堅固な城を構築。同時に川越城も築城し、扇谷上杉氏の関東における軍事的基盤を固めた。
文明8年（1476年）、長尾景春の乱が勃発すると、道灌は卓越した軍事的才能を発揮。三十余度の合戦で一度も敗れることなく、乱を鎮圧した。この武功により道灌の名声と権勢は主君・扇谷上杉定正をも凌ぐようになった。
文武に秀でた道灌は歌人としても名高い。有名な「山吹の花」の逸話では、鷹狩りの帰りに雨に降られた道灌が農家で蓑を借りようとしたところ、少女が黙って山吹の枝を差し出した。「七重八重花は咲けども山吹の実の一つだになきぞ悲しき」という古歌に掛けて「実の＝蓑」がないことを暗に示したもので、道灌はその教養に感じ入り、以後和歌の道に精進したという。
文明18年（1486年）7月26日、主君・扇谷上杉定正に相模国糟屋の館に招かれ、入浴中に襲撃されて暗殺された。享年55。定正は道灌の才覚と権勢を恐れ、山内上杉家の讒言もあって謀殺に至ったとされる。道灌は最期に「当方滅亡」と叫んだと伝えられ、その予言通り扇谷上杉氏はその後急速に衰退した。
道灌の築いた江戸城は、約130年後に徳川家康の居城となり、天下の名城へと発展する。東京の礎を築いた人物として、東京都庁前に銅像が立ち、その功績は今も顕彰されている。