弘治元年（1555年）に生まれ、幼少より徳川家康に仕えた。元亀元年（1570年）の姉川の戦い、天正3年（1575年）の長篠の戦いなど数々の合戦に従軍し、天正12年（1584年）の小牧・長久手の戦いでは池田元助を討ち取る武功を挙げた。慶長5年（1600年）の関ヶ原の戦いでは使番として従軍し、その後は本多正純・成瀬正成らとともに家康の側近として初期幕政に携わった。元和3年（1617年）に遠江掛川城主となり、元和5年（1619年）、家康の十男・徳川頼宣が紀州藩主として和歌山に入ると、直次は紀州藩付家老として田辺に3万8千石を与えられ田辺城に入った。以後、明治維新まで安藤氏が代々田辺城主を務め、紀伊田辺藩の基礎を築いた。寛永12年（1635年）、81歳で没した。

家康股肱の臣として長年にわたり忠勤を尽くし、武功と実務能力を併せ持つ人物として知られる。老中格として幕政初期を支えた冷静な判断力が評価される。

田辺城主として紀伊田辺藩の礎を築き、以後の安藤氏は明治維新後に紀州藩から独立した紀州田辺藩の藩主として続いた。田辺城跡に残る石垣と水門は、直次に始まる安藤氏統治の名残を今に伝える。