Debutó en la Allsvenskan con el Malmö el 1 de octubre de 2012 en un partido como visitante contra el Syrianska. Debutó porque el primer portero, Johan Dahlin, fue suspendido. Olsen mantuvo la portería a cero y el partido terminó 2-0 a favor del Malmö.[1] En un partido contra el Åtvidabergs, Dahlin tuvo que ser sustituido en el descanso por una lesión y Olsen tuvo una vez más su lugar. Olsen luego logró mantener la portería a cero en la parte restante del partido, así como otros tres partidos antes de encajar un gol en tiempo de descuento en su cuarto partido de la temporada contra el IFK Göteborg. Mantuvo a Dahlin fuera del once inicial en algunos partidos más, antes de que se le dio el lugar en el banco una vez más. En total Olsen jugó 10 partidos para el Malmö en la temporada 2013. Antes del inicio de la temporada 2014 el club vende a Johan Dahlin, haciendo a Olsen el primer portero del club. En la temporada 2014 Olsen jugó 29 de los 30 partidos de liga y fue una pieza vital del equipo que defendía el título de la liga y se clasificó para la fase de grupos de la Liga de Campeones de la UEFA 2014-15. Por sus actuaciones en la liga, Olsen fue galardonado al portero del año de la Allsvenskan.[2]
El 1 de julio de 2015 se anunció que continuaría su carrera en el PAOK.
Selección nacional
Cuando llegó al Malmö, dijo que preferiría jugar para Dinamarca, pero en 2014 optó por jugar para Suecia. El 15 de enero de 2015 hizo su debut para Suecia en un partido amistoso contra Costa de Marfil.[3]