En raison des origines juives de sa mère, Michael Gielen se réfugie, en 1940, avec sa famille, à Buenos Aires, où il apprend le piano et la composition[2]. Il se familiarise avec la direction d'orchestre au côté d'Erich Kleiber, dont il fut le corépétiteur au Teatro Colón. Il fait également des études de philosophie.