吉川元春の三男。天正15年(1587年)に吉川家当主となり、出雲・伯耆等14万石を領した。天正19年(1591年)、米子の湊山に米子城の築城を開始したが、関ヶ原の戦い(1600年)で毛利輝元が西軍総大将に担がれると、広家は独断で徳川方に内通し、南宮山で毛利本隊を動かさなかった。この行動により毛利家は改易を免れたが大幅減封され、広家自身は周防岩国3万石の領主となった。米子城の完成は見届けられず、慶長13年(1608年)には岩国の横山山頂に岩国城を築いたが、一国一城令によりわずか7年で廃城となった。