大永6年（1526年）生まれ。下野宇都宮氏の重臣で、益子氏とともに「紀清両党」と呼ばれた有力武士団・芳賀氏の当主。真岡城（下野国芳賀郡、現・真岡市台町）を居城とした。戦国期の下野は南から勢力を伸ばす後北条氏の脅威にさらされており、天正5年（1577年）、高継は真岡城を堅固な城郭に改修し防備を固めた。宇都宮氏重臣として主家の存続に尽力したが、慶長2年（1597年）、豊臣秀吉により宇都宮氏が改易されると芳賀氏もこれに殉じ所領を失い、真岡城も廃城となった。高継自身は文禄元年（1592年）に没している。

宇都宮氏一門の重臣として、迫り来る北条氏の脅威に城郭改修という実務的な防衛策で応じた堅実な武将。

高継が改修した真岡城は「紀清両党」芳賀氏の拠点として名を残し、跡地は現在城山公園として整備され土塁や堀の一部が残る。