Gimnaziju je završio u Beogradu, a zatim Prirodno-matematički odsek Velike škole (1877). Posle toga je završio Fakultet nauka - prirodnjački odsek u Parizu, studirao je i na Antropološkoj školi u Parizu.
Kao prvi školovani geolog u Srbiji, izabran je 1880. godine za suplenta na Katedri za mineralogiju sa geologijom na Velikoj školi u Beogradu. Ovim je začeta savremena geološka škola u Srbiji. Osim mineralogije i geologije, počeo je i predavanja iz paleontologije. Iz Pariza je doneo prvi polarizacioni mikroskop i uveo mikroskopska ispitivanja naših stena. Redovni profesor Velike škole postao je 1883. Za relativno kratko vreme (1880-1900) izradio je geološku kartu Srbije i napisao osnovne udžbenike iz geologije. Osnovao je Geološki zavod Velike škole (1889), pokrenuo prvi geološki časopis u Srbiji „Geološki anali Balkanskoga poluostrva“ (1889), osnovao Srpsko geološko društvo (1891). I sve što je tada Žujović osnovao postoji i danas. On je jedan od osnivača Muzeja srpske zemlje (današnji Prirodnjački muzej u Beogradu). Uveo je agrogeologiju na Poljoprivrednom fakultetu, za čije osnivanje je takođe veoma zaslužan. Predavao je primenjenu geologiju na Tehničkom fakultetu posle Prvog svetskog rata. Svoje naučne radove štampao je u mnogim inostranim i domaćim publikacijama.
Prilikom osnivanja Srpske kraljevske akademije kralja Milan Obrenović je 5. aprila1887. ukazom imenovao prvih 16 članova akademije. Među njima je bio Jovan Žujović, kao najmlađi. Prema tadašnjim običajima postao je sekretar akademije. Posle smrti Stojana Novakovića postao je 2. aprila1915. predsednik Srpske kraljevske akademije. Ovu funkciju je obavljao šest godina, do 1921. godine.
Prilikom osnivanja Beogradskog univerziteta1905. izabran je za redovnog profesora, jednog od osam koji su zatim birali ceo ostali nastavni kadar univerziteta. Takođe, prilikom svečanog otvaranja univerziteta, držao je govor u ime Srpske kraljevske akademije.
Bio je specijalni izaslanik srpske vlade u Parizu za vreme Prvog svetskog rata u misiji organizovanja srpskih škola za izbegle đake i skupljanje pomoći.
Prvih osam redovnih profesora Beogradskog univerziteta
Među njegova najznačajnija dela ubrajaju se:
Geologische Uebersicht des Koenigreiches Serbien, 1886, Wien;
Petrografska mineralogija, 1887;
Petrografija I-III, 1889, 1895;
Osnovi za geologiju Kraljevine Srbije, 1889;
Sur les roches éruptives de la Serbie, 1893, Paris;
Sur les terrains sédimentaires de la Serbie, 1893, Paris;
Geologija Srbije I-II, 1893, 1900;
Geološka građa okoline sela Boljetina, 1921;
Pouke iz geologije, 1922;
Opšta geologija, 1923;
Les roches eruptives de la Serbie, 1924;
Postanje zemlje i naše domovine I-II, 1927, 1929;
Snabdevanje sela vodom. Izvori i bunari, 1931.
Njegovo delo „Kameno doba“ osim svog značaja koje je do sada imalo, dobilo je na važnosti time što je postalo prva knjiga na srpskom jeziku koja je u elektronskom obliku postavljena na projekat Gutenberg.
Radovi iz antropologije
Uz članke o geologiji i paleontologiji, poznati su i njegovi radovi iz oblasti antropologije. U svom delu „Kameno doba“, koje je objavljeno 1893. godine, citirajući pretežno francuske naučnike, dao je pregled onovremenih najsavremenijih znanja i iz paleoantropologije od najstarijih početaka do kraja neolitske epohe. Nešto kasnije, između 1927. i 1929. godine, u delu „Postanje Zemlje i naše domovine (I - II)“, obrađena je i biološka prošlost Zemlje počev od razdoblja u kom je nastao pračovek. - U ovom delu je značajno njegovo veliko interesovanje za prostor Balkanskog poluostrva.
