Rodio se u Vilniusu u Litvi, tada u Sovjetskom Savezu1974. godine. Godine 1978., emigrirao je s roditeljima, (koji su bili glazbenici) u Austriju. Godine 1983., studirao je violinu na bečkom konzervatoriju s Borisom Kuschnirom u tradiciji sovjetske violinske škole. Također je pohađao privatne satove kod Pinchasa Zukermana. Imao je svoj prvi javni koncert1984. godine i započeo je karijeru kao čudo od djeteta. Godine 1988., osvojio je prvu nagradu na natjecanju mladih glazbenika klasične glazbe u organizaciji Eurovizije, što mu je omogućilo, da postane najmlađi solist Bečke filharmonije ikada na čelu s Riccardom Mutijem.
Njegova karijera se razvijala u Europi i Sjedinjenim Američkim Državama s vrlo uglednim dirigentima kao što su: Vladimir Ashkenazy, Bernard Haitink, James Levine, Zubin Mehta i dr. U 2005.-oj debitirao je u Carnegie Hallu uNew Yorku s tamošnjom filharmonijom pod dirigentskom palicom Lorina Maazela.
Izvodi komornu glazbu s umjetnicima kao što su: Martha Argerich, Gidon Kremer, Natalia Gutman, Mstislav Rostropovič, Itamara Golana itd. Godine 2000. osnovao je vlastitu festival u Dubrovniku, pod nazivom "Julian Rachlin i prijatelji".
Glazbeni kritičari pohvalili su njegove violinske koncerte s izvedbama djela Sibeliusa, Čajkovskog, Brahmsa te njegovu izvedbu Sonate za violu i glasovir, op. 147 od Šostakoviča.
Godine 2000., bio je nagrađen prestižnom nagradom "International Academy Chigiana" u Sieni. Dobitnik je Porina 2006. za najbolji inozemni album klasične glazbe.
Julian Rachlin svirao je na Guarnerijevoj violini izrađenoj 1742., koju je dobio donacijom od Austrijske nacionalne banke.