Jordan, der in seiner Anfangszeit stark von Louis Armstrong beeinflusst war, spielte zunächst bei den Washboard Rhythm Kings und von 1933 bis 1942 in der Bigband von Chick Webb, wo er neben Bobby Stark Solo-Trompeter war und auch in der Zeit, als Ella Fitzgerald sie leitete. 1942 leitete er eine eigene Band. 1943 bis 1947 arbeitete er im Duke Ellington Orchestra. 1949 bis 1953 war er in der von der Bassistin Lucille Dixon geleiteten Hausband im Savannah Club in Greenwich Village. 1958/59 tourte er mit Benny Goodman. Danach arbeitete er als Freelancer in New York City. Als Sideman ist er 1959/60 auf Sketches of Spain von Miles Davis zu hören. Er spielte in Broadway Shows und nahm 1963 am Town Hall Concert von Duke Ellington teil. In den 1970er Jahren spielte er mit der New York Jazz Repertory Company. Mit einer "Cotton Club Gala" unter der Leitung von Aaron Bell unternahm er 1978 seine wahrscheinlich einzige Europa-Tournee.
Er nahm 1935 für Banner („If The Moon Turns Green“ unter der Bandbezeichnung Taft Jordan and The Mob) und als Leiter einer eigenen Band 1960/61 unter eigenem Namen auf (unter anderem ein Tribute-Album an Ellington Mood Indigo bei Prestige 1961). Im Laufe seiner Karriere wirkte er außerdem bei Aufnahmen von Benny Carter, Al Hibbler/Harry Carney, Johnny Hodges, Al Sears, Rex Stewart und Sarah Vaughan mit.