En 1968 se marchó a Madrid a casa de su tío El Sordera.[1] Allí graba su primer disco, acompañado a la guitarra por Manolo Sanlúcar y Paco de Lucía. Cantó en el tablao de Torres Bermejas junto a Mario Maya, Carmen Mora y Guito.
Recibió un importante espaldarazo con el XI Concurso Nacional de Arte Flamenco de Córdoba en 1985[2]
También residió durante un tiempo en Japón donde se dedicó al flamenco, siendo allí compañero de Chiquito de la Calzada el tiempo que ambos residieron en Minato (Tokio), tal como el propio José Mercé ha contado alguna vez en televisión.[3]
Tras unos años alejado de los escenarios por el fallecimiento de uno de sus hijos[4], volvió a la escena con el disco Del amanecer..., producido por Vicente Amigo. Su actuación en el Teatro Real —siendo el primer gitano que actúa en el mismo— representa un avance importante en su carrera, pasando a ser el cantaor flamenco más conocido por el gran público. Desde entonces se ha atrevido a innovar mezclando flamenco con blues, martinete balcánico o cantando con autores como Alejandro Sanz.
Ha vendido hasta la fecha un millón de discos. Hasta el año 2011, le acompañaba a la guitarra Manuel Moreno Junquera Moraíto Chico, que murió en ese mismo año.
En 2017 grabó el tema principal de la película Oro.[6]
El 26 de agosto de 2022 actuó en el Baluarte (Pamplona) dentro de Flamenco on fire, presentando el Oripandó, espectáculo de flamenco y vanguardia, con el que el cantaor repasó todos los momentos emocionantes de su trayectoria vital.[7]
