1856年8月、ハリスは下田の玉泉寺に米国総領事館を開設した。しかし幕府は彼を歓迎せず、交渉を引き延ばし続けた。ハリスは体調を崩しながらも、通訳のヒュースケンとともに孤独な生活を送り、日記に「世界で最も孤独な場所」と記した。それでも彼は諦めず、1857年にはついに江戸城での将軍・家定との謁見を実現させた。この粘り強さが、やがて条約締結という歴史的成果に結びつくことになる。
幕府はハリスの世話をさせるため、下田の芸者・斎藤きち（お吉）を彼のもとに送った。お吉はわずか3日間（異説もある）でハリスのもとを去ったが、「唐人お吉」として外国人に身を寄せた女として偏見の目にさらされ続けた。その後の人生は不遇を極め、晩年は貧困のうちに下田の稲生沢川で入水自殺したとされる。お吉の悲劇は、開国の犠牲となった一人の女性の物語として小説・映画・歌舞伎などで繰り返し取り上げられてきた。
1858年7月29日、ハリスは大老・井伊直弼のもとで日米修好通商条約に調印した。この条約は神奈川（横浜）・長崎・新潟・兵庫（神戸）の開港、江戸・大坂での通商許可を定めた。しかし関税自主権の欠如と領事裁判権の承認という不平等条項を含んでおり、以後の安政五カ国条約（英仏蘭露との条約）の雛形ともなった。条約改正は明治日本の悲願となり、陸奥宗光による1894年の治外法権撤廃、小村寿太郎による1911年の関税自主権回復まで半世紀以上を要した。