飛山城は永仁年間（1293〜1298年）、宇都宮景綱の家臣・芳賀高俊によって築かれたと伝わる。芳賀氏は益子氏とともに「紀清両党」と呼ばれた宇都宮氏の有力武士団で、飛山城に拠る間は清原氏を称し、これが現在の宇都宮市東部の地名「清原」の由来になったとされる。