Davis werd geboren in Cupar, een dorp in de regio Fife. Hij begon zijn carrière op het hoogste niveau bij East Fife FC, dat in 1950 in de Schotse hoogste divisie (Scottish Football League) speelde. In 1951 werd hij opgeroepen voor zijn legerdienst. Hij werd als militair ingezet tijdens de Koreaanse Oorlog. Davis raakte er zwaargewond op het slagveld, waarna hij twee jaar in het ziekenhuis doorbracht om te revalideren van de schotwonden in zijn onderbuik en voet. Hij vocht echter terug en speelde nadien zelfs nog jarenlang voor Rangers FC. Tussen 1956 en 1964 speelde hij 272 wedstrijden voor de club (alle competities inbegrepen) en won werd hij vijf keer landskampioen. In 1961 verloor hij met de club de finale van Europacup II tegen ACF Fiorentina.
Rangers FC