Alvbåge ha cominciato la carriera con la maglia del Torslanda IK in Division 2, campionato che all'epoca rappresentava il terzo livello della piramide del calcio svedese. Nel 2000 è stato tesserato dal Västra Frölunda, all'epoca militante in Allsvenskan. Ha disputato 12 partite nel corso di quel campionato 2000, culminato con la retrocessione della sua squadra. Rimasto in squadra per altre due stagioni, ha totalizzato 60 presenze in Superettan.
Örebro e IFK Göteborg
Nel 2003, Alvbåge è passato all'Örebro, tornando così a calcare i campi dell'Allsvenskan. È rimasto in squadra per un biennio, totalizzando 51 presenze in campionato e subendo 77 reti. In vista del campionato 2005 è stato ingaggiato dall'IFK Göteborg, dove è rimasto fino al luglio di quello stesso anno.
L'approdo al Viborg ed il ritorno in Svezia
A luglio 2005, Alvbåge è stato ingaggiato dai danesi del Viborg, militanti in Superligaen. Ha disputato tre stagioni nella massima divisione locale, totalizzando 87 presenze e subendo 154 reti. Con il Viborg ha partecipato anche all'Intertoto 2005.
A luglio 2008 è rientrato in Svezia, per giocare ancora nell'Örebro. È tornato a calcare i campi dell'Allsvenskan il 6 luglio, schierato titolare nel successo per 0-1 sul campo del Ljungskile.[2] È rimasto in squadra fino alla fine del campionato 2011.
Nuovamente all'IFK Göteborg
Nel 2012 è ritornato a giocare nell'IFK Göteborg. Il 1º aprile 2012 ha giocato la prima partita di campionato in squadra dal suo ritorno, schierato titolare nella sconfitta per 2-1 maturata sul campo dell'Syrianska.[3] Al termine della stagione 2015 è stato nominato miglior portiere dell'Allsvenskan del campionato appena concluso.[4] Il 2 novembre 2015 ha prolungato l'accordo che lo legava al club fino al 31 dicembre 2018.[5]
Minnesota United
Dopo i cinque anni consecutivi all'IFK Göteborg, è stato girato in America al Minnesota United in data 27 gennaio 2017, con un prestito valido fino al successivo 15 luglio, ma prorogabile di 18 mesi.[6] Il 3 marzo successivo ha effettuato il proprio esordio nella Major League Soccer, schierato titolare nella sconfitta per 5-1 patita sul campo dei Portland Timbers.[7] Il 26 luglio 2017, la franchigiastatunitense ha reso nota la volontà di non avvalersi dell'opzione per il rinnovo del prestito di Alvbåge, che ha fatto così ritorno all'IFK Göteborg.[8]
Stabæk
Il 16 agosto 2017, i norvegesi dello Stabæk hanno reso noto l'ingaggio di Alvbåge, che si è trasferito nel nuovo club con la formula del prestito fino al termine della stagione.[9]
Omonia e Nea Salamis
Il 15 gennaio 2018, Alvbåge ha firmato ufficialmente un contratto con i ciprioti dell'Omonia, valido fino al 30 giugno 2019.[10] Il 7 febbraio, nella partita del suo esordio ufficiale con la nuova maglia, si è seriamente infortunato alla spalla sbattendo contro il palo. Operato a Göteborg, i tempi di recupero erano stati stimati fra i 3 e i 6 mesi.[11] Nell'agosto dello stesso anno è stato girato in prestito al Nea Salamis,[12] altra squadra cipriota con cui Alvbåge è riuscito ad essere schierato solo in un'occasione in quanto riserva dello slovacco Róbert Veselovský.
Nuovo rientro in Svezia
Alvbåge è tornato a far parte di una squadra svedese nel marzo 2019, quando è stato ingaggiato dal Sirius nonostante il portiere designato per iniziare la stagione fosse Lukas Jonsson,[13] il quale ha poi effettivamente giocato gran parte delle partite stagionali. Alvbåge in quel campionato ha ha giocato 7 partite.
Scaduto il contratto con il Sirius, Alvbåge è sceso nella terza serie nazionale con l'ingaggio annuale da parte del Lindome GIF.[14]
Trentottenne, nell'aprile del 2021 ha firmato fino al 31 luglio seguente un contratto con l'Akropolis, squadra del campionato di Superettan con sede nella periferia stoccolmese.[15] Ha giocato 13 partite di campionato, visto che nel corso del girone di ritorno ha definitivamente perso il ruolo di titolare in favore del nuovo arrivato Orestis Menka. La stagione della formazione biancoblu si è comunque conclusa con la retrocessione.
Nell'aprile 2022 si è unito a parametro zero all'IFK Lindesberg, scendendo temporaneamente nella settima serie nazionale in attesa di trovare altre proposte.[16] Nello stesso mese, però, prima dell'inizio del campionato, ha lasciato l'IFK Lindesberg per trasferirsi all'Ervalla SK nell'ottava serie,[17] dove è sceso in campo nelle prime sette giornate.[18]
Il 27 luglio 2022 ha pubblicato un post su Instagram in cui ha annunciato il ritiro dal calcio giocato, comunicando al tempo stesso il suo passaggio al club norvegese del Sarpsborg 08 in qualità di allenatore dei portieri.[19]
Nazionale
Ha debuttato in nazionale svedese il 23 gennaio 2006 nella partita contro la Giordania. Ha partecipato alla Coppa del Mondo FIFA 2006 come terzo portiere della Svezia, senza mai scendere in campo nel corso della competizione.