1938 yılında Türkiye'nin Rize kentinde doğdu. Güreşe 1953 yılında 15 yaşında İstanbul Fatih'te bir kulüp olan İstanbul Güreş İhtisas Kulübü'nde başladı. Gençler ve ümitler güreşindeki ilk başarıları kısa süre sonra geldi. Türk güreşçiler için ender rastlanan ve çoğunlukla serbest stili tercih ettikleri Greko-Romen stilde güreşti.
1957 yılında ilk kez Türkiye velter sıklet şampiyonu oldu ve daha sonra uluslararası şampiyonalara da katıldı. Katıldığı ilk şampiyonada, 1958 yılında Romanya'nın Budapeşte kentinde düzenlenen 1958 Dünya Güreş Şampiyonası'nda grekoromen stil 73 kiloda henüz 20 yaşındayken dünya şampiyonu oldu. O dönemde kendi ülkesindeki en zorlu rakibi, 1956 ve 1960'ın çifte Olimpiyat ağır sıklet şampiyonu Mithat Bayrak'tı.
Roma'daki 1960 Olimpiyat Oyunları için yapılan elemelerde velter sıklette Bayrak'a yenildiği için Roma'da orta sıklette yarışmak zorunda kaldı. 1960 Yaz Olimpiyatları'nda ilk turda İtalyan Marziano Magnani'yi hakem kararıyla, ikinci turda Lüksemburglu Raymond Schummer'i tuşla, üçüncü turda İranlı Mansour Hazrati'yi hakem kararıyla, dördüncü turda Çekoslavak Jiří Kormaník'i tuşla yendi. Beşinci turda Polonyalı Bolesław Dubicki ile berabere kaldı, altıncı turda Bulgar Dimitar Dobrev'e hakem kararıyla yenildi. Rumen Ion Ţăranu ve Ayvaz 6. turu 7 puanla 3. sırada tamamladılar. Bronz madalya maçında Rumen Ion Ţăranu'ya hakem kararıyla yenildi ve olimpiyatları dördüncü tamamladı.[3]
Amerika Birleşik Devletleri'nin Toledo kentinde düzenlenen 1962 Dünya Güreş Şampiyonası'nda grekoromen stil 70 kiloda finalde Yugoslav Stevan Horvat'ı yenerek ikinci kez dünya şampiyonu oldu. Kazım Ayvaz, 1963 Dünya Şampiyonasını Yunanistan'dan Moissidis ve Norveç'ten Skauen'e karşı kaybettikten sonra beklenmedik bir şekilde Olimpiyat şampiyonu oldu.
Japonya'nın Tokyo kentinde düzenlenen 1964 Yaz Olimpiyatları'nda ilk turda Mısırlı Mahmoud Ibrahim'i ve ikinci turda Sovyet Davit Gvantseladze'yi hakem kararıyla yendi. Üçüncü turu bay geçtikten sonra dördüncü turda Bulgar Ivan Ivanov da hakem kararıyla yendi. Beşinci turda Rumen Valeriu Bularcă ile berabere kaldı. O dönem uygulanan ceza puanı sisteminde Ayvaz 6 puanın altında kalan tek güreşçi olarak altın madalyanın sahibi oldu.[4]
Kazım Ayvaz 1969'a kadar aktif kaldı, ancak 1960'ların başındaki büyük başarılarını tekrarlayamadı.
Grekoromen stilde ülkesini temsil ederek 1960, 1964 ve 1968 yıllarında üst üste üç olimpiyata katıldı, ancak sadece Tokyo'da başarılı oldu. Kazım Ayvaz, 1964'ten itibaren zaferle sonuçlanan maçlarını tekrarlayamadı. En iyi kullandığı teknikler tek kol, salto, supleks ve çırpmadır.1969'da aktif sporculuktan emekli oldu ve 1968 Olimpiyatları'ndan sonra göç ettiği İsveç'te antrenör olarak görev yaptı. Güreş sporuna yaptığı hizmetlerden dolayı Eylül 2011'de FILA Uluslararası Güreş Onur Listesi'ne dahil olmuştur.[5]
18 Ocak 2020 tarihinde 83 yaşında ölmüştür. İsveç'te Helsinborg kentinde toprağa verilmiştir.[6]
