扇谷上杉氏家臣・上杉憲清の子、上杉憲直はこの榎下城の城主であった。永享10年（1438年）、永享の乱で鎌倉公方・足利持氏方についた憲直は幕府方に攻められ城から退いたが、上杉憲実方の追撃を受け、称名寺で子・憲家とともに自害した。