El club va ser fundat per un grup de jueus Petah Tikva l'any 1912, que estaven estudiant a la ciutat otomana de Constantinoble. És, per tant, el segon club més antic d'Israel, després del Maccabi Tel Aviv FC, creat el 1906. El seu rival ciutadà, l'Hapoel, va ser fundat el 1934.
Com tots els clubs Maccabi, representa ideològicament la branca conservadora de la ciutat. Mai ha guanyat la lliga israeliana, tot i que ha estat dos cops campió de copa (1935 i 1952) i guanyà el Torneig Haaretz el 1940. Els anys 2003/04 i 2004/05 assolí una tercera i una segona posició a la lliga de primera divisió.
