グラバーは公式には中立的な外国商人であったが、実際には薩摩藩と長州藩に大量の武器・弾薬を秘密裏に供給していた。幕府による武器禁輸を巧みにかいくぐり、ミニエー銃やゲベール銃などの最新式小銃を調達。特に1866年の薩長同盟の前後には、坂本龍馬の亀山社中を仲介として長州藩にイギリス製の軍艦「ユニオン号」を売却するなど、倒幕の軍事力強化に決定的な役割を果たした。グラバーの武器供給がなければ、明治維新はさらに数年遅れたかもしれないと言われている。
1863年に完成したグラバー邸は、日本に現存する最古の木造洋風建築である。長崎港を一望できる南山手の丘の上に建ち、コロニアル様式の開放的なベランダと日本の建築技法が融合した独特の建物である。この邸宅でグラバーは薩摩・長州の志士たちと密会を重ね、倒幕の策略を練った。また、グラバーの日本人妻ツルとの生活がプッチーニのオペラ「蝶々夫人」の着想の一つとなったとも言われる。現在はグラバー園の中心的建造物として公開され、2015年には「明治日本の産業革命遺産」としてユネスコ世界遺産に登録された。
プッチーニの名作オペラ「蝶々夫人」は、長崎を舞台にアメリカ海軍士官と日本人女性の悲恋を描いた作品だが、そのモデルの一つがグラバーと妻ツルの関係であったという説がある。ツルは元芸妓とも言われ、西洋人の夫と日本人妻という構図が物語の着想に影響を与えたとされる。また、グラバー邸がオペラの舞台のモデルになったとも伝わる。真偽は定かではないが、グラバー園では「蝶々夫人」関連の展示が行われ、長崎の異文化交流の象徴としてこの物語は語り継がれている。