Inizia a recitare fin da giovane, dopo essersi appassionato alla recitazione ispirato da Tyrone Power, e vivendo gran parte delle giornate nella sala cinematografica di proprietà dei genitori. Debutta a soli 11 anni nello spettacolo Betty's Little Rascals. Diviene un attore attivo prevalentemente a teatro, recitando anche a Broadway.
Dal 1980 al 1982 interpreta il personaggio di Eliot Carrington in 181 episodi della soap opera Texas.
Nel 1988 compare nella serie televisiva di fantascienza Star Trek: The Next Generation, seconda serie live-action del franchise di Star Trek, nell'episodio della seconda stagione, Elementare, caro Data (Elementary, Dear Data, 1988), dove interpreta il personaggio del Professor Moriarty, un ologramma dell'omonimo personaggio protagonista della saga letteraria di Arthur Conan Doyle di Sherlock Holmes, e suo storico avversario, che Data chiede al computer della USS Enterprise D di rendere più intelligente, così da essere capace di tenergli testa nelle sue avventure sul ponte ologrammi. Così facendo il computer lo rende senziente e Moriarty finirà per mettere in scacco l'Enterprise D chiedendo di poter uscire dal ponte ologrammi e poter vivere le sue avventure nel mondo reale. È di nuovo nella stessa parte cinque anni più tardi, nell'episodio della sesta stagione, La nave in bottiglia (Ship in a Bottle, 1993), dove torna a impossessarsi dell'Enterprise D, così da ottenere la "libertà" di uscire dal ponte ologrammi. L'equipaggio dell'Enterprise D fa in modo, attraverso uno stratagemma, di dargli l'illusione che questo avvenga. Nel 2023 torna nuovamente a interpretare il personaggio nella terza stagione della nuova serie del franchiseStar Trek: Picard.
Nel 1990 ritorna sul grande schermo nei film Caccia a Ottobre Rosso (1990) e Havana (1990), di Sydney Pollack, al fianco di Robert Redford. Nel 1992 prende parte a un episodio della decima stagione della celebre serie televisiva gialla interpretata da Peter Falk, Colombo (Columbo). Vi impersona il personaggio di Alex Varrick nell'episodio Non c'è tempo per morire (No Time to Die), andato in onda negli USA il 15 marzo 1992 e trasmesso in Italia, su Rete 4, il 27 marzo 1993. Nello stesso 1992 è protagonista anche della serie La signora in giallo (Murder, She Wrote), ideata come la precendete da Richard Levinson e William Link, al fianco della protagonista Angela Lansbury, nei panni di Jessica Fletcher. Davis veste i panni di Neal Dishman dell'episodio dell'ottava stagione, La morte fa il brindisi (Badge of Honor), trasmesso negli USA il 10 maggio 1992 e in Italia su Rai 1 il 9 febbraio 1994. Dal 1993 al 1999 è impegnato in uno dei suoi ruoli maggiormente celebri, quello del maggiordomo Niles, nella sitcom La tata (The Nannie), prodotta, scritta e interpretata da Fran Drescher, nei panni della protagonista Fran Fine (Francesca Cacace, nell'edizione italiana).
Negli anni duemila le sue apparizioni televisive e cinematografiche si vanno diradando. Compare nello spettacolo Talking Heads e nel musical The Frogs. Partecipa alla direzione del musical La Cage aux Folles. Prende parte in qualità di guest star ad alcune serie televisive, quali ad esempio Frasier (2002); Ugly Betty (2008); Gotham (2015), prequel di Batman in cui impersona Jacob Skolimski, padre di Jason Skolimski (Milo Ventimiglia), alias Orco; Elementary (2019), serie ispirata a Sherlock Holmes, ma in cui interpreta il personaggio di Antoine LaGrange; New Amsterdam (2022). Nel 2006 compare inoltre nel film diretto da Christopher Nolan, The Prestige, in cui interpreta la parte del giudice.
Filmografia
Attore
Cinema
Piccioni (The Sidelong Glances of a Pigeon Kicker), regia di John Dexter (1970)