Han ble utdannet som skuespiller ved Alliancescenernes elevskole i 1944, og debuterte som Nicolai året etter i Nøddebo Præstegård på Folketeatret i København. Det var også dette teateret han han særlig var knyttet til. Han vant ry og popularitet som en frodig revy- og komedieartist, blant annet med visen om Fandens oldemor. Med årene utviklet han seg – uten å forlate komedien helt – til en betydelig karakterskuespiller, og løste oppgaver som Volpone, Mefisto og pastor Manders i Ibsens Gengangere.
I 1945 giftet han seg med Eva Sprogøe, som han fikk tre sønner med, blant andre sønnen Henning Sprogøe, som også er skuespiller.
I mange år spilte han sammen med komikeren Dirch Passer. Hans mest kjente roller både i Danmark og utlandet er nok doktor Hansen i Matador og den geniale vaneforbryter Egon Olsen i filmene om Olsen-banden.
Ove Sprogøe medvirket i 145 filmer, hvilket er flere enn noen annen dansk skuespiller. Det er opprettet en dansk minnepris i hans navn som deles ut årlig. Denne kulturprisen heter Ove Sprogøe Prisen.
Papir og pap er penge værd (1948) ·Hvor bjergene sejler (1956) ·Ellehammer-filmen (1957) ·Enden på legen (1961) ·En ny virkelighed (1964) ·Michel Simon og PH-lys (1965) ·Knud (1966) ·Kongens Enghave (1968) ·Eftermiddagsgæsten (1969) ·Livet er en cirkus (1970) ·Livet i Danmark (1971) ·Dejlig er den himmel blå (1976) ·Jenny (1978) ·Tomas - et barn du ikke kan nå (1981) ·Historien om Kim Skov (1982) ·Fugl Fønix (1984) ·Den erindrende (1986) ·Carl Th. Dreyer - Min metier (1996) ·Tintin et moi (2005) ·Gasolin (2007) ·The Monastery (2008) ·Burma VJ: Reporter i et lukket land (2009) ·Blekingegadebanden (2010) ·Armadillo (2011) ·Testamentet (2012) ·Putins kys (2013) ·Ai Weiwei The Fake Case (2014) ·The Look of Silence (2015) ·The Man Who Saved the World (2016) ·The War Show (2017) ·Last Men in Aleppo (2018) ·Olegs krig - en barndom i krigens skygge (2019) ·Q’s Barbershop (2020) ·En splittet familie (2021) ·Flukt (2023) ·Et hus af splinter (2023) ·Apolonia, Apolonia (2024)