Il étudie d'abord le piano puis s'intéresse à la clarinette et au saxo alto. Alors qu'il est encore au collège, il a l'occasion de jouer dans d'obscures formations, les Knights of Pythias, puis avec Bobby Sawyer et le pianiste Walter Johnson.
Harry Carney est le pilier par excellence de l'orchestre de Duke Ellington, l'assise incontournable de sa section d'anches, vecteur de profondeur et de densité. Multi-instrumentiste tout d'abord, c'est surtout le saxophone baryton qui le fait connaître. C'est surtout lui qui lui donne un statut honorable, après les premiers essais assez maladroits d'Adrian Rollini, par la mobilité (tant dans le phrasé que dans l'intensité) de son jeu, mobilité inspirée du travail de Coleman Hawkins au ténor et de sa propre pratique d'instruments plus agiles. Son discours est modelé attentivement, passant de la densité du registre grave à la vivacité du médium, parfois feutrée et parfois à la limite d'un « growl » doux, sans le sautillement « corny » de ses prédécesseurs, et par une précision et une souplesse remarquables de l'attaque. D'un instrument voué au soulignement rythmique des « Chicagoans », il a fait un participant à part entière de la section mélodique et soliste. Ses chorus sont courts (parfois 8 mesures), mais toujours décisifs. Il a joué le même rôle de pionnier et de défricheur à la clarinette basse.