最上義光の家臣。天正9年（1581年）、義光が秋田の小野寺義道を攻めるため、最上郡と秋田・雄勝郡を分ける有屋峠のふもと・金山の地に城を築くよう命じられ、金山城を築城した。以後この城に在番し、仙北の小野寺氏との国境紛争の最前線として、有屋峠付近でしばしば起きた小競り合いにたびたび自ら出撃した。現在の山形県最上郡金山町中心部の街路は、与惣左衛門が城下を整備した時代に形成されたものとされる。

築城だけでなく城下町の街割りまで手掛け、国境防衛の最前線で自ら出撃を重ねた実戦派の城将。

金山城下の街割りは今も金山町の町並みの基礎となっており、彼の統治の痕跡を今日に伝えている。