In eigen land speelde Carboni voor AC Arezzo (1984/85), AS Bari (1985/86), Empoli FC (1986/87), AC Parma (1987/88), Sampdoria (1988-1990) en AS Roma (1990-1997). In 1997 vertrok de linkervleugelverdediger naar Spanje om voor Valencia CF te gaan spelen. In 2000 en 2001 was Valencia tweemaal verliezend Champions League-finalist. In 2002 en 2004 won Carboni met Valencia de landstitel. Ook de UEFA Cup en de Europese Supercup kon Carboni in 2003 aan zijn palmares toevoegen.
Sinds 23 oktober 2005 heeft Carboni het record in handen van de oudste speler ooit die voetbalde in de Primera División. In de gewonnen wedstrijd van Valencia tegen Real Madrid (2-1) mocht de Italiaan een kwartier voor tijd invallen voor zijn geblesseerd geraakte landgenoot Emiliano Moretti. Met zijn veertig jaar, zes maanden en zeventien dagen verbrak Carboni daardoor het record van Donato. De voormalig speler van Deportivo La Coruña stond met veertig jaar, vijf maanden en 21 dagen voor het laatst op het veld. Op 6 mei 2006 speelde Carboni tegen Atlético Madrid zijn laatste wedstrijd als speler van Valencia CF. Nadat hij zijn carrière als profvoetballer had beëindigd, ging Carboni aan de slag als technisch directeur bij Valencia CF.
Daarna is hij nog even technisch directeur geweest van Excelsior Moeskroen. Zijn bedoeling was om jonge beloftevolle Spaanse voetballers naar Moeskroen te halen om ze na een paar jaar met meerwaarde te kunnen verkopen. Miroslav Đukić, ex-ploegmaat van Carboni bij Valencia, werd coach van de Henegouwse club. Het project was echter geen lang leven beschoren omdat de club in zware financiële problemen raakte en uiteindelijk failliet ging.