寛永寺の開山堂として承応3年（1654年）頃に建立された堂宇で、寛永寺を創建した慈眼大師・天海と、天海が深く敬慕した平安時代の天台僧・慈恵大師良源（元三大師）の二人を並べて祀ることから「両大師」と呼ばれる。天海は徳川家康・秀忠・家光の三代に仕えた僧正で、江戸の都市計画にも関わった黒衣の宰相として名高い。明治期に比叡山延暦寺にあった輪王寺が当地に遷され、現在は輪王寺という独立した寺院として機能する。戊辰戦争の上野戦争で周辺寺院の多くが焼失する中、両大師堂と阿弥陀堂は焼け残った。ガン封じ祈願・おみくじで知られ、毎月3日が縁日。