Billy Taylor apja fogorvos volt, anyja pedig tanár. Virginia államban és Washingtonban nőtt fel. A Virginia State College-on tanult. 1943-ban New Yorkba ment és 1944-től professzionális zongorista volt. Először Ben Webster kvartettjében játszott New Yorkban, majd Stuff Smith-el (1944), Eddie South-al, Cozy Cole-al, Machitoval és Slam Stewarttal zenélt.
Később állandó zongorista volt a Birdlandben, ahol Charlie Parkerrel, Dizzy Gillespie-vel és Miles Davis-szel játszott. 1945-ben, a Commodore-ban[6] feltűnt Bill Coleman kvartettjében. 1946-ban Don Redmannel európai turnéra indult. Az 1940-es évek végén saját trióját vezette. 1953 nyarán duókat vett fel Charles Mingusszal, utána különböző saját comboi voltak. 1965-ben megalapította a Jazzmobile-t, és azóta nyári koncerteket és workshopokat tartottak ezen a néven Harlemben és szerte New Yorkban.
1956-ban közreműködött Quincy Jones debütáló albumán. 1958-ban zenei vezetője volt az NBC első dzsessz sorozatának (The Subject Is Jazz). 1969-ben ő lett az első afroamerikai, aki televíziós zenekart vezetett David Frost műsorában. Az 1970-es években rádiósorozata volt, 1981-től pedig a CBSSunday Morning című műsorában vezette a dzsesszrovatot. A washingtoni „Kennedy Center for the Performing Arts jazz” tanácsadója volt.
Egyik legismertebbé vált szerzeménye az „I Wish I Knew (How It Should Feel to Be Free)” 1954-ből, amely az 1950-60-as évek polgárjogi mozgalmában szerzett népszerűséget pl. Nina Simone tolmácsolásában. Mieko Hirota-val lépett fel az 1967-es Newport Jazz Festivalon. 1973-ban írta a „Suite for Jazz Piano and Orchestra” című művét.
1975-ben a Massachusettsi Egyetemen szerzett PhD fokozatot oktatásból. Ezután az East Carolina Egyetem zeneprofesszora lett.
2010-ben, 89 éves korában szívroham következtében halt meg egy New York-i kórházban.
Ez a szócikk részben vagy egészben a Harry Carney című német Wikipédia-szócikk ezen változatának fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.