源頼朝の異母弟・三河守源範頼は、この地・瀬ヶ崎に別邸を構え、念持仏の薬師如来をここに安置していたと伝わる。建久4年（1193年）、曾我兄弟の仇討事件後の疑念により頼朝の勘気を被り、伊豆修禅寺に幽閉のうえ梶原景時の襲撃を受けて自刃したとされる。遺徳を偲び別邸跡に建立されたのが当寺の起源で、現在も境内に範頼の位牌（法名・太寧寺殿道悟大禅門、建久4年8月24日）が伝存する。命日の8月24日には毎年「三河忌」が厳修されており、鎌倉草創期の源氏一門悲劇の記憶を今に伝える。

薬王寺は、頼朝が建久4年（1193年）に曾我兄弟の仇討事件後の疑念から幽閉・粛清した異母弟・源範頼の別邸跡に建立された寺院。範頼の持仏・薬師如来を奉安し遺徳を偲ぶために創建されたといわれ、命日には今も「三河忌」が営まれる。

建久4年（1193年）8月、富士裾野での曾我兄弟の仇討事件で頼朝横死の誤報が鎌倉に流れた際、政子の動揺を慰めるべく「範頼ありますれば御代は安泰」と言上した源範頼は、これがかえって謀反の意ありと頼朝に猜疑され、伊豆修禅寺（一説に当・瀬ヶ崎別邸とも）に幽閉される。同月17日、襲撃の命を受けて範頼の許に向かったのが梶原景時であった——『吾妻鏡』『保暦間記』はこの追討を景時の主導と伝え、範頼は8月24日に自刃したとされる。景時はかつて一ノ谷・屋島・壇ノ浦で範頼・義経兄弟の軍に加わって平家を滅ぼした同志でありながら、頼朝の信任を背に源氏一門の粛清を担う「侍所所司」として、義経に続き範頼までも追い詰めた。当寺はその範頼の別邸跡に持仏の薬師如来を奉じて建てられたと伝わり、寺域そのものが景時の手で断たれた源氏一族の悲劇を今に伝える。景時自身も範頼の死から6年後の正治元年（1199年）、御家人66人連判の弾劾状によって鎌倉を追放され、翌正治2年（1200年）駿河国狐崎で討たれて梶原一族は滅ぶこととなる。