Ole Olsens far var kirkeorganist. Ole Olsen hadde arvet musikaliteten, og allerede som 6–7-åring var han vikar for faren.
I Ole Olsens barndom fantes det ikke aviser i Hammerfest. Derfor gikk en politibetjent rundt i byen og leste opp kunngjøringer og auksjonsplakater. Ole fikk jobb som trommeslager. Når folk hørte trommingen, visste de at det ville bli lest opp en kunngjøring.
Studier
Fra 1870 til 1874 studerte han ved musikkonservatoriet i Leipzig. Han komponerte sin første symfoni i G-dur, og begynte på operaen Stig Hvide.
Virke i Oslo
Etter studiene i Leipzig bosatte Ole Olsen seg i Christiania (Oslo), hvor han arbeidet som komponist og musikklærer. I årene 1877–1880 vikarierte han som dirigent i Musikkforeningen, mens Johan Svendsen var i utlandet. I 1879 giftet han seg med pianofabrikanten Karl Hals' datter Marie. I 1884 ble han dirigent for Anden brigades musikkorps (som senere byttet navn til Forsvarets Stabsmusikkorps) i Oslo, og var i perioden 1899–1919 armémusikkinspektør med majors grad. Han var også aktiv i Kunstnerforeningen. Som frimurer var han aktiv i Den norske Frimurerorden, hvor han ledet Frimurerorkestret og komponerte leilighetsverk til ordenens jubileer og høytidsdager.
Ole Olsen var medlem i Nordlændingernes Forening, som ble stiftet i 1894, og var den som foreslo «Nord-Norge» som et strategisk begrep på landsdelen. Han var på den tiden spesielt opptatt av landsdelens mulighet for kulturell, sosial og industriell vekst. Betegnelsen «Nord-Norge» ble først vanlig i bruk i tiden omkring første verdenskrig, i navn på foreninger og i avisartikler.
Musikk
Blant de mest kjente av Ole Olsens verker er «Solefaldssang» fra eventyrkomedien Svein Uræd, til tekst av Nordahl Rolfsen. Svein Uræd ble uroppført på Centraltheatret i Kristiania i 1890. Olsen hadde 24 år tidligere skrevet en opera med tittelen Stig Hvide, som imidlertid aldri ble oppført.[3] Olsen skrev også operaen Lajla.
Olsen skrev også poetiske tekster. Han skrev selv teksten til flere av sine operaer. En skriftsamling kalt Digte ble utgitt etter hans død. I 1978 utga Erik Bye og Birgitte Grimstad platen En dobbel deylighet med blant annet Petter Dass' Fiskevise tonesatt av Ole Olsen.
Olsen prøvde også å få laget en egen norsk marsj-stil. Dette gjorde han ved å komponere marsjer som hadde innslag av folketoner. Han fikk mye kritikk for dette, og lagde bare noen få marsjer.
Av Olsens verker er også «11 klaverstykker» av de mer kjente; dette er en samling med stykker for klaver som er komponert i nasjonalromantisk stil. Han laget også en suite for klaver og strykere basert på disse stykkene.
I 2010 ble det utgitt en nyinnspilt cd med musikk av Ole Olsen, fremført av Latvias symfoniorkester (Latvian National Symphony Orchestra) under ledelse av den norske dirigenten Terje Mikkelsen. Cd-en er utgitt på det svenske plateselskapet Sterling under tittelen Asgaardsreien, Symphony in G, Suite for string orchestra.[4][5]Åsgaardsreien er et symfonisk dikt som Olsen komponerte i 1876 med utgangspunkt i et verk av dikteren Johan Sebastian Welhaven. Den «Suite for string orchestra» som cd-en inneholder, er musikken til ovennevnte Svein Uræd.