Aiello begynte som skuespiller i 1970-årene. En av hans tidligste roller var som en baseballspiller i 1973 i baseballdramaet Bang the Drum Slowly med Robert De Niro. Aiello hadde rollen som Tony Rosato i Gudfaren 2 fra 1974, der han hadde den berømte setningen «Michael Corleone sier hallo!» under en hit på en rivaliserende gangster som het Michael V. Gazzo.[trenger referanse]
Selv om mange av figurene hans var vulgære og voldelige,[trenger referanse] skildret Aiello også følsomme og vennlige mennesker med en jordnær sans for humor. Han spilte nattklubbeieren og Lee Harvey Oswalds attentatmann Jack Ruby i den biografiske filmen Ruby fra 1992.