Wczesną edukację odebrał w Gandawie. Jako zdolny uczeń w wieku osiemnastu lat sam został nauczycielem języków francuskiego i flamandzkiego. W wyniku zmiany sytuacji politycznej po bitwie pod Waterloo i prześladowaniu katolików, postanowił opuścić ojczyste strony. Dał się jednak przekonać swym przełożonym i pozostał w kraju jeszcze przez dwa lata. Od 1815 roku był klerykiem Archidiecezjalnego Seminarium Duchownego w Mechelen. Jeden z wykładowców wybrał młodego Jamesa by ten towarzyszył mu w wyprawie misyjnej do USA. Przygotowania do kapłaństwa ukończył w Baltimore. Za namową przełożonego rozpoczął nowicjat u jezuitów. Święcenia kapłańskie otrzymał 25 września1827 roku z rąk abpa Ambrose Maréchala. Pracował duszpastersko początkowo w archidiecezji baltimorskiej. Od roku 1831 był wykładowcą Kolegium Jezuickiego w Saint Louis, gdzie nauczał retoryki i matematyki. W roku 1843 został wiceprowincjałem amerykańskich jezuitów.
3 października1848 papież Pius IX mianował go ordynariuszem Chicago. Sakrę otrzymał w kościele uniwersyteckim św. Franciszka Ksawerego w St. Louis z rąk ówczesnego metropolity Petera Kenricka. Do swej diecezji dotarł w marcu 1849 roku. Niesprzyjający klimat i rozwijający się reumatyzm sprawiły, że bp Van de Velde kilkakrotnie pisał petycje do papieża o zmianę miejsca pobytu. Mimo fizycznego dyskomfortu udało mu się doprowadzić do wybudowania wielu kościołów w całym Illinois, szpitala, w którym Siostry Miłosierdzia pracowały jako pielęgniarki i wielu sierocińców. W roku 1852 odwiedził Stary Kontynent. Miał możliwość dwukrotnie uczestniczyć w audiencji papieskiej, podczas której zatwierdzone zostały dekrety I Synodu Plenarnego w Baltimore. Prosił również o zwolnienie z obowiązków biskupich lub przeniesienie na inną placówkę. Jego prośby zostały wysłuchane i 29 lipca1853 roku otrzymał nominację na ordynariusza Natchez w ciepłym stanie Missisipi. Niedługo po przybyciu do Natchez zaraził się żółtą gorączką i zmarł. Msza pogrzebowa celebrowana była 14 listopada 1855 roku przez metropolitę Nowego OrleanuAnthony’ego Blanca.