天正2年（1574年）武田勝頼配下の木曽義昌が東濃へ侵攻すると、阿寺城主・遠山友忠と3人の息子は城を守り、木曽方の重臣にも手傷を負わせるほど奮戦したが、次男・友重が討死した。阿寺城はこの戦いで落城し、以後再建されることはなかった。