Els orígens del futbol a la ciutat de Xàtiva se situen el 1924, quan diversos equips de la ciutat van jugar els Campionats Valencians entre els quals destacava el Club Esportiu Xàtiva.[3] L'actual Olímpic es va formar el 1932, i des de llavors ha estat el conjunt representatiu del municipi.
Tot jugant categories regionals i alguna aparició a Tercera Divisió, aconsegueix de nou l'ascens a aquest darrer nivell el 1944, on només hi roman una temporada. Aquesta nova aventura al tercer esglaó del futbol estatal es va allargar fins al 1951, quan perd la categoria a causa de problemes financers. Quatre anys després, retorna a Tercera Divisió.[4]
Durant els sis anys següents, l'Olímpic va ser un dels grans equips de la categoria, guanyant en tres ocasions el seu grup, i per tant, va disputar els playoffs d'ascens a Segona, sense aconseguir-ho mai. Va perdre davant conjunts de la talla del Nàstic de Tarragona (1959), CD Màlaga (1960) o Atlètic Balears (1961), entre d'altres.
Passada aquesta època daurada, els de Xàtiva inicien un descens de competitivitat, que els durà a caure a les categories regionals a partir de la reestructuració de 1968. Tres anys després pugen a Tercera, i el 1977, assoleixen un nou ascens a la recentment creada Segona B. En eixe any queden vuitens i al següent, 78/79, són cuers i retornen a la 3a Divisió.
Després de diverses temporades a Tercera i a Regional, l'Olímpic apareix de nou a la Segona B el 1987. Eixa campanya, la 87/88 queda quart, la seua millor classificació des de l'establiment d'aquest nou nivell intermedi. El 1991 és de nou cuer. Aquesta nova etapa per Tercera i Regional s'allarga gairebé dues dècades, quan el 2011 puja a Segona B després de vèncer en playoffs al navarrès CD Izarra.[4]
El seu estadi és el Camp La Murta, inaugurat el 1922 i amb capacitat per 9.000 persones.[5] Des de 1920, ha sigut l'únic camp de futbol que ha tingut l'Olímpic.