Dopo essersi diplomato nel 1858 al Ginnasio, si iscrisse all'Università di Uppsala dove si laureò nel 1863. In seguito ottenne alcuni contratti dall'Università e svolse lavori in Europa e Nord America. Nel 1874 fu nominato professore di chimica generale a Uppsala.
Nel 1879 Cleve scoprì gli elementi olmio e tulio e nel 1874, stabilì che il didimio non era un elemento a sé stante ma la mescolanza di due diversi elementi, oggi noti come neodimio e praseodimio.