McIlvaine roede for Penn Athletic Club, og her overtog han i 1928 pladsen i dobbeltsculleren efter Jack Kelly, Sr., så han kom til at ro sammen med Paul Costello, der havde vundet guld ved de seneste to OL. Sammen vandt de flere amerikanske mesterskaber.[1][2] Denne duo kom også med til OL 1928 i Amsterdam, hvor de klart vandt alle deres indledende heat, inden de i semifinalen mødte østrigerne Leo Losert og Viktor Flessl, som de havde besejret en gang i konkurrencen, en bedrift de gentog her. I finalen besejrede de canadierne Joe Wright, Jr. og Jack Guest med ti sekunder, mens Losert og Flessl fik bronze (canadierne var gået i finalen uden modstandere i deres semifinale). Med sejren blev Costello den første roer, der vandt tre OL-guldmedaljer i træk i samme disciplin.[2]
Hans søn, Charles McIlvaine, Jr., blev som sin far roer og var med til at vinde guld i otteren ved de panamerikanske lege i 1955.[1]
