みなとみらいを見下ろす高台にある公園で、幕末の大老・井伊直弼の銅像が立つ。江戸時代は「不動山」、明治初期は日本初の鉄道を敷設した外国人技師の官舎があったことから「鉄道山」と呼ばれた。1884年に旧彦根藩士が買い取り井伊家の所有となり、1909年の横浜開港50周年を記念して直弼の銅像が建立された。「掃部山」の名は直弼の官職名「掃部頭（かもんのかみ）」に由来する。銅像は太平洋戦争中の金属供出で一度撤去されたが、1954年の開国100周年に再建。台座の設計は横浜正金銀行本店を手がけた妻木頼黄による。園内には日本庭園や能楽堂もあり、春は桜の名所として賑わう。

井伊直弼は彦根藩第15代藩主・江戸幕府大老として、1858年に日米修好通商条約を締結し横浜開港への道を開いた。この決断は尊攘派から激しい批判を受け、直弼は安政の大獄で反対派を弾圧するが、1860年桜田門外の変で水戸浪士に暗殺される。しかし彼の開国の決断がなければ横浜は存在しなかった。旧藩士たちはその恩に報いるため、明治42年（1909年）に銅像を建立。彫刻は藤田文蔵、鋳造は岡崎雪斎が手がけ、台座は妻木頼黄が設計した。高さ3.6メートルの直弼像は衣冠束帯姿で南東のみなとみらい方面を望む。