Pékermans carrière als voetballer begon in 1970, toen hij onder contract stond bij Argentinos Juniors. Tot 1974 speelde hij daar 134 wedstrijden en scoorde daarin 12 maal. Daarna maakte hij de overstap naar Independiente Medellín waar hij 15 maal doel trof in 101 wedstrijden.
Trainerscarrière
Bij zijn terugkomst in Argentinië werkte hij als jeugdtrainer bij Chacarita Juniors en later in dezelfde functie bij Argentinos Juniors. Daarna verliet hij Argentinië voor Chili, waar hij de leiding kreeg over de jeugdteams van Colo-Colo.
In 1994 werd hij door de Argentijnse voetbalbond geselecteerd om het Argentijns Olympisch elftal onder zijn hoede te nemen. De aanstelling riep enkele vragen op, aangezien Pékerman nooit aansprekende resultaten had geboekt. Hij werd in deze functie geassisteerd door Hugo Tocalli en Eduardo Urtasun.
Al snel veranderden de kritieken die hij kreeg in euforie. Het -20 team won het WK driemaal, 1995 in Qatar, 1997 in Maleisië en 2001 in Argentinië. Bovendien won het team onder zijn leiding tot twee keer toe de Zuid-Amerikaanse jeugdkampioenschappen, namelijk in 1997 en 1999.
Toen bondscoach Daniel Passarella na het WK voetbal 1998 ontslag nam kreeg Pékerman de vacante positie aangeboden. In plaats daarvan liet hij weten zichzelf vooral aan te bevelen als een soort van algemeen directeur voor alle nationale ploegen van Argentinië en schoof hij Marcelo Bielsa naar voren als de ideale opvolger van Passarella. Bielsa werd inderdaad bondscoach en was actief op het teleurstellende WK voetbal 2002, maar ook op de Olympische Zomerspelen 2004, waar Argentinië het goud won.
Pékerman vertrok in 2003 naar Spanje nadat hij een aanbod kreeg van de Argentijnse zakenman Daniel Grinbank om algemeen directeur te worden van CD Leganés, de club die hij had aangeschaft. Na een paar maanden hield Pékerman het echter voor gezien en keerde hij terug naar Argentinië.
Argentinië
Nadat Bielsa ontslag had genomen als bondscoach, was Pékerman een van de twee kandidaten om de leiding over het nationale team over te nemen. De andere kandidaat was Carlos Bianchi, die een paar maanden daarvoor Boca Juniors had verlaten en een sabbatical year in de planning had. Op 15 september2004 werd Pékerman tot bondscoach van Argentinië benoemd. Onder zijn leiding plaatste Argentinië zich voor het WK voetbal 2006. Na de verloren kwartfinale (na strafschoppen) met Argentinië tegen Duitsland op het WK diende hij zijn ontslag in als bondscoach.
Interlands Argentinië onder leiding van José Pékerman
Pékerman is getrouwd en heeft twee dochters. Bovendien heeft hij drie huisdieren die luisteren naar de namen Qatar, Malaysia en Argentina, genoemd naar de locaties van de jeugdtoernooien die hij heeft gewonnen.