Ayala begon zijn profcarrière bij Ferro Carril Oeste (1991-1994). In 1994 maakte de centrale verdediger de overstap naar topclub River Plate, waarna hij een jaar later vertrok naar Italië, waar hij voor SSC Napoli (1995-1998) en AC Milan (1998-2000) ging spelen. Bij Milan werd de verdediger landskampioen. Sinds 2000 staat Ayala onder contract bij Valencia CF. In 2001 was de Spaanse club verliezend Champions League-finalist. In 2002 en 2004 won Ayala met Valencia de landstitel en in 2004 volgde bovendien de UEFA Cup en de Europese Supercup.
In 2007 tekende hij een contract voor drie seizoenen bij Villarreal CF. Ayala zou uiteindelijk niet voor deze club gaan spelen, aangezien Real Zaragoza zijn contract bij Villarreal CF afkocht in juli 2007. Ayala werd bij Real Zaragoza de vervanger van zijn landgenoot Gabriel Milito, die naar FC Barcelona vertrok. Na een paar seizoenen voor Zaragoza te hebben gespeeld werd in januari 2010 zijn contract ontbonden[1].
Hij keerde vervolgens terug naar Argentinië, waar hij ging spelen voor Racing Club de Avellaneda. Hij kwam daar tot vijftien competitiewedstrijden, waarna hij zijn voetbalcarrière beëindigde.
Op 5 juni 2007 speelde hij tegen Algerije zijn 92'ste interland, waarmee hij Diego Maradona passeerde als recordinternational voor Argentinië. Hij zou uiteindelijk 115 interlands spelen voor Argentinië, waarmee hij momenteel vijfde staat in de lijst van all-time meeste wedstrijden voor Argentinië, achter Lionel Messi, Javier Mascherano, Javier Zanetti en Ángel Di María.