Pavlovic va ser seleccionat pels Utah Jazz en la 19a posició del Draft de 2003, on va jugar una temporada abans de ser traspassat als Cleveland Cavaliers. En la seva primera temporada en la lliga va fer una mitjana de 4.8 punts, igual que en la seva primera campanya en els Cavaliers. El 30 de gener de 2007, després de sortir de titular davant Golden State Warriors, va anotar 24 punts, la seva millor marca en l'NBA. Des de llavors, els seus minuts de joc en la pista s'han incrementat substancialment.
En quatre anys en la lliga, Pavlovic ha fet una mitjana de pràcticament 4.8 punts en totes les temporades, excepte en la 2004-05, en les quals les seves xifres d'anotació van ser de 4.5 per nit, i en la 2006-07, en la qual portava 4.8 de mitjana fins a la seva explosió en el partit davant els Warriors. Finalment, va acabar amb 9 punts per partit, i des de febrer de 2007, 11.2.
El 10 de gener de 2011 va signar un contracte de 10 dies amb Dallas Mavericks, i després de finalitzar el seu segon contracte amb l'equip, va ser fitxat pels New Orleans Hornets.[4] El 3 de març de 2011 va signar amb Boston Celtics.