Oliver Jones naît le de parents barbadiens[1] dans le quartier de Petite-Bourgogne, à Montréal et grandit à quelques pas de chez Oscar Peterson. Enfant prodige, Oliver Jones fait ses débuts comme pianiste à l'âge de cinq ans à l'Union United Church, la plus vieille église construite pour une communauté noire au Canada. Par la suite, il étudie le piano classique jusqu'en 1949. À l'âge de neuf ans, Jones présente un numéro solo au Café St-Michel ainsi dans plusieurs autres cabarets montréalais.
À l'âge de 18 ans, il déménage à Valleyfield où il se produit à l'hôtel Laurent pendant 6-7 ans[2]. Il y fait la rencontre de Monique Bérubé qu'il marie en 1958. Richard, leur fils unique naît l'année suivante[3].
Il continue de jouer dans de nombreux cabarets montréalais jusqu'en 1963 (entre autres au Cabaret Montmartre[4]). Il devient directeur musical en 1964 du chanteur calypso de la JamaïqueKenny Hamilton, établi à Porto Rico. Le groupe fait beaucoup de tournées dans les Caraïbes et aux États-Unis en jouant principalement les chansons des 40 premières places au palmarès jusqu'en 1980.
Il retourne d'ailleurs à Montréal en 1980 où le contrebassisteCharles Biddle le convainc de s'associer avec lui à la fin de la même année ; ils se produisent ensemble dans des boîtes et des bars d'hôtel, Jones devient le pianiste attitré du Club de jazz Biddle de 1981 à 1986.
Jones, formé exclusivement en piano classique, commence à se faire un nom comme pianiste de jazz. Il se produit lors de la deuxième édition du Festival international de jazz de Montréal (FIJM) en 1981 et y joue chaque année jusqu'en 1999, participant à l'ouverture et à la clôture du festival à sept reprises.
