律令制のもとで日本は六十余りの令制国に分かれていました。その一国ごとに「筆頭」と目された神社が一の宮です。現在の都道府県とは区画が異なるため、一つの県に複数の一の宮があることも、県境をまたいで一つの国が広がっていたこともあります。
通説では、国司が任国に赴任した際に諸社を巡拝した順番に一の宮の起源があるとされます。国司は着任すると管内の主要な神社に参拝し幣を奉ることが最初の執務とされていました。その待遇の差が序列として定着した、という見方です。
ただし選定基準を規定した文献資料は存在せず、民衆の篤い崇敬が背景にあったとする説、王権が「国中第一」の霊神と鎮護国家の盟約を更新する祭儀だったとする説など、複数の見解が並んでいます。
一の宮に次ぐ社は二宮・三宮と呼ばれ、一国内の政治的・社会的な関係を映した神祇の順位と考えられてきました。ただし成立の姿は国ごとに異なります。能登国のように一宮と二宮しかない国もあれば、長門国のように一宮と二宮を対等に扱う体制がつくられた国もありました。