Zé ist in der kleinen Stadt Irará, Bahia im nordostbrasilianischen Sertão aufgewachsen. Nach einem Universitätsabschluss an der Hochschule für Musik in Salvador da Bahia zog Zé nach São Paulo, wo er seine Musiker-Karriere startete. In seinen frühen Arbeiten verarbeitete er seine Großstadteindrücke aus der Sicht eines einfachen Bürgers aus dem armen Nordosten des Landes.
Beeinflusst durch die Tropicalismo Bewegung arbeitete Zé, neben Caetano Veloso, Gilberto Gil, Gal Costa, Os Mutantes, und Nara Leão, an dem Album Tropicália ou Panis et Circensis (1968) mit. Während die anderen Künstler später großen kommerziellen Erfolg hatten, zog sich Zé in den 1970er und 1980er Jahren weitestgehend zurück.
1968 belegte Zé den ersten Platz des 4. Festivals für populäre brasilianische Musik (Música Popular Brasileira) mit dem Lied São, São Paulo.
Er blieb mit seiner Musik immer den experimentellen und Dada-Impulsen der Tropicália-Bewegung treu, die er selbst mit eingeführt hatte, insbesondere durch seine unorthodoxe Instrumentation, bei der er auch Staubsauger und Schreibmaschine einbezieht. Musikalisch bedient er sich unter anderem beim Samba, der Bossa Nova, brasilianischer Folk-Musik, Forró, und beim US-amerikanischen Rock and Roll. Seine Arbeit wird von vielen Avantgarde-Komponisten wegen seiner Dissonanz, Polytonalität und ungewöhnlichen Taktarten geschätzt.
In den frühen 1990er Jahren erlebte Zés Arbeit durch den Musiker David Byrne eine Renaissance, als dieser Zés Album Estudando o Samba von 1975 auf einer Reise nach Rio de Janeiro entdeckte. Byrne veröffentlichte daraufhin auf seinem Musiklabel Luaka Bop eine Kompilation von Zés Arbeit und zwei weitere Alben. Ein Gitarren-Riff aus Zés Lied Jimmy, Renda-se wurde von der R&B-Sängerin Amerie für ihren Song Take Control verwendet.
