Durante una festa francese, l'11 novembre 1930, il governo chiese di organizzare una partita di calcio che si sarebbe dovuta disputare a Yaoundé. La capitale politica aveva però una sola squadra, l'Étoile Indigène: le autorità francesi quindi incaricarono il capo della regione Nyong-et-Sanaga di creare un altro club, il Canon Yaoundé.
I primi giocatori a segnare la storia del club furono Zing Martin Omgba, Francis Belinga, Joseph Amougou, René Ndong, Étienne Belinga, Jacques Bouli e Gabriel Abega che portarono il club a vincere il suo primo titolo, la coppa nazionale nel 1957 contro i Lions Yaoundé (2-1).
Dopo l'indipendenza nel 1960 nasce il primo campionato, nel quale il Canon però non riesce subito a imporsi. La vittoria della seconda coppa nazionale nel 1967 segna l'inizio di un'era.
Nel 1970 ci fu la prima vittoria in campionato; l'anno successivo arrivò il primo successo in CAF Champions League contro l'Asante Kototo (1-0), nella finale della coppa del Camerun 1973 spazzò via il Diamant Yaounde(5-2).
Il periodo più glorioso del club fu il triennio 1978-1980: CAF Champions League 1978 contro l'Hafia FC (2-0), Coppa delle coppe d'Africa nel 1979 contro il Gor Mahia (8-0) e ancora la CAF Champions League 1980 contro l'AS Bilima (5-2).
Negli ultimi anni il Canon Yaoundé è afflitto da problemi di gestione. L'8 agosto 2009 il presidente del club lasciò per la prima volta dopo 20 anni e viene istituito un organismo di transizione.