Davydov era figlio di un medico. Suo fratello maggiore, August Davydov, era un noto matematico ed educatore; suo nipote, Alexej Davydov, divenne anche violoncellista e compositore.
Imparò a suonare il pianoforte all'età di cinque anni e il violoncello a 12 anni sotto la guida del maestro Heinrich Schmidt, poi primo violoncello del teatro di Mosca.
Ebbe successo giovanissimo, come violoncellista.[1]
Insegnò al Conservatorio di Lipsia, prima di trasferirsi a San Pietroburgo con lo stesso incarico oltreché con il ruolo di direttore della Società musicale russa.
Tra le sue opere vanno annoverate il poema sinfonico Die Gaben des Terek, suite orchestrali, Fantasia russa.
Davydov era dell'opinione che la tecnica del violoncello dovesse essere ispirata a quella del violino e consigliava ai suoi studenti di osservare i migliori violinisti con attenzione.
Apportò miglioramenti alla tecnica del violoncello e, sotto l'influenza di Hauptmann, è stato uno dei primi violoncellisti a prendere in considerazione gli aspetti anatomici e fisiologici della performance.[1]
