Efter at have startet sin karriere med Diambars i hjemlandet, rykkede Gueye i 2008 til Frankrig, hvor han skrev kontrakt med Lille. Her spillede han de følgende syv sæsoner, og var blandt andet med til at vinde det franske mesterskab med klubben i 2011.
Efter kun én sæson hos Aston Villa, der endte med at rykke ud af Premier League efter sæsonen 2015-16, skiftede Gueye til Everton for en pris på ca. 7 millioner britiske pund.[2] Gueye etablerede sig over de næste sæsoner som en central del af Everton mandskabet, og blev i 2018-19 sæsonen kåret som årets spiller i klubben sammen med Lucas Digne.[3]