Kiss vant en olympisk sølvmedalje i svømming under OL 1904 i St. Louis. Han kom på andreplass på 1 engelsk mile fristil bak. På 880 yards fristil kom han på tredjeplass. to år senere, under Ekstralekene 1906 i Athen var han med på det ungarske laget som vant 4 x 250 meter fristil.
OL-medaljer
1904St. Louis - Sølv i svømming, 1 engelsk mile fristil
1904St. Louis - Bronse i svømming, 880 yards fristil
(1906Athen - Gull i svømming, 4 x 250 meter fri (Ungarn))