Scarlett is een jeugdproduct van Tottenham Hotspur. Op 26 november 2020 maakte hij zijn officiële debuut in het eerste elftal van de club: in de Europa League-groepswedstrijd tegen PFK Ludogorets (4-0-winst) viel hij in de 82e minuut in voor Lucas Moura. Ook zijn tweede officiële wedstrijd voor Tottenham was in de Europa League: in de terugwedstrijd van de zestiende finale tegen Wolfsberger AC (4-0-winst) viel hij in de 81e minuut in voor Dele Alli. Een paar minuten na zijn invalbeurt leverde hij de assist voor de 4-0 van Carlos Vinícius. Op 7 februari 2021 maakte hij zijn debuut in de Premier League: tegen West Bromwich Albion (2-0-winst) viel hij in de blessuretijd in voor Son Heung-min.