加賀美遠光の三男として生まれたと伝わる（生年は永万元年〈1165年〉説など諸説あり）。治承4年（1180年）、石橋山の戦いで源頼朝に従軍し、甲斐国南部牧（現・山梨県南部町）を本拠として南部姓を称したという。文治5年（1189年）の奥州合戦での戦功により、頼朝から陸奥国糠部五郡を与えられたと南部氏の家伝『奥南旧指録』は伝える。建久2年（1191年）頃に糠部へ入部し、翌建久3年（1192年）に平良ヶ崎館を築いて政庁としたとされる。ただし、建治元年（1275年）の京都六条八幡宮造営記録に南部氏の名が見えないことから、南部氏の陸奥進出は実際には鎌倉時代末期であった可能性が学術的に指摘されており、光行の代の糠部拝領・築城は後世の家伝による伝承である可能性がある。嘉禎2年（1236年）に没したと伝わる。南部氏はその後、南部・八戸・七戸など多くの分家に分かれながら陸奥・出羽北部一帯に勢力を広げ、江戸時代には盛岡藩・八戸藩の藩主家として続いた。

史実性には議論があるものの、南部氏の家伝の中では源頼朝への忠勤によって糠部の地を切り開いた開拓者として描かれる。子孫が広大な北奥羽に一族を分立させたことから、後世には一族結束の象徴的な始祖として仰がれた。

南部光行を始祖とする南部氏は、盛岡藩・八戸藩をはじめ多くの分家として江戸時代まで陸奥・出羽北部に勢力を保った。光行が築いたと伝わる平良ヶ崎館（青森県南部町）は、南部氏発祥の伝承地として今も地域で大切にされている。