Inizia la sua attività di allenatore tra il 1960 e il 1970 aprendo una scuola di ginnastica a Onești insieme alla moglie Márta. Mentre si reca nelle scuole per cercare giovani talenti, in una di esse incontra la piccola Nadia Comăneci, che inizia ad allenare insieme ad altre giovanissime promesse.
Debutta come allenatore della nazionale nel 1974, ma è con le Olimpiadi di Montreal nel 1976 che diviene famoso: la "sua creatura" Nadia ottiene per la prima volta nella storia delle Olimpiadi un 10, risultato che ottiene altre sette volte. Dopo il successo iniziano a nascere le prime incomprensioni con la federazione rumena che lo fa allontanare. È di nuovo a capo della squadra nazionale alle Olimpiadi di Mosca nel 1980. Tuttavia la rottura con la federazione diviene definitiva e con la moglie e il coreografo Geza Pozar lascia per sempre la Romania e chiede asilo politico negli Stati Uniti.
Moglie e marito si trasferiscono in Oklahoma, dove continuano ad allenare le ginnaste della squadra americana tra cui Mary Lou Retton, Phoebe Mills, Betty Okino e Kim Zmeskal, ma i loro metodi considerati troppo duri sono causa di aspre critiche. In particolare Bela impone alle ginnaste di assumere solo 900 calorie al giorno per mantenere un corpo snello e l'agilità che occorre per eseguire gli esercizi.
Béla Károlyi ha anche recitato nel telefilm Make It or Break It - Giovani campionesse nel ruolo di Dimitri Belov, padre di Sasha Belov, entrambi allenatori di ginnastica artistica.