Nacido en Viena el 9 de junio de 1927, hijo de un trabajador de un periódico bohemio del 10º distrito municipal. El padre, de corte liberal, rápidamente se convirtió en detractor del nazismo. Al final de la guerra, se afilió a la Juventud Libre Austríaca, cercana al Partido Comunista de Austria (KPÖ), ya partir del 10 de abril de 1945, militante del partido. Sin embargo, abandonó la militancia comunista al año siguiente.[1]
Desde 1984 hasta el año 1994 ostentó el cargo de alcalde de Viena. En diciembre de 1993 sufrió heridas importantes al abrir una carta bomba enviada a su casa, en el distrito municipal de Inere Stadt, enviada por el activista xenófobo Franz Fuchs.[2]
En octubre de 1998, el diario Süddeutsche Zeitung acusó a Zilk de haber colaborado con el servicio secreto checoslovaco (StB) durante los años 60. Zilk negó las acusaciones, y en diciembre de 1998 se resolvió el conflicto con la visita de Václav Havel para pedir disculpas.[3]
Zilk murió el 24 de octubre de 2008 en su ciudad natal de Viena, a la edad de 81 años, debido a un ataque al corazón, justo después de llegar a casa después de pasar las vacaciones enfermo en Portugal. Estaba casado con la cantante austríaca Dagmar Koller.