Poté, co získal základní vzdělání, navštěvoval Školu kadetů v Münsteru, v roce 1857 pak Školu artilerie v Berlíně. Bojoval v prusko-dánské válce, kde se účastnil útoku na citadely Friederica a Dybbøl; zde získal pověst příkladného vojáka. Do roku 1866 byl důstojníkem pruské armády.
Karel rumunským domnitorem a posléze králem
Po převratu ze dne 10./11. února roku 1866 a vyhnání diktátora Alexandra Ioana Cuzy se Rumunsko ocitlo v chaosu a na pokraji rozpadu. Přes odpor značné části obyvatel byl „cizinec“ Karel díky podpoře Napoleona III. (s nímž byla Karlova rodina v mimořádně dobrých vztazích) i většiny rumunských politických elit vybrán za vládce a 20. dubna1866 zvolen novým rumunským domnitorem (vládcem/knížetem). Vydal se inkognitovlakem do Rumunska. Na jeho hranicích ho přivítal předseda národních liberálů Ion Brătianu a společně se vozem (v té době nemělo zaostalé Rumunsko ještě žádné železniční tratě) vydali do Bukurešti, kde byl Karel přivítán bouřlivými ovacemi.
Záhy po jeho příchodu přijal parlament29. června novou konstituci. Byl to velmi smělý počin, který znamenal další důležitý krok na cestě Rumunska k úplné nezávislosti. Ústava dávala možnost reorganizace státu a jeho vymanění z anarchie.
Karel I. vládl Rumunsku celkem 48 let, což je nejdéle ze všech rumunských vládců.
Poslední léta vlády
Další úspěch zaznamenal král Karel v souvislosti s balkánskými válkami, do nichž se Rumunsko nezapojilo, ač se mohlo odvolávat na územní nároky v Makedonii kvůli přítomnosti arumunského obyvatelstva. V konkurenci Srbska s Bulharskem však nemělo naději na úspěch. Při mírových jednáních po skončení 2. balkánské války ovšem Rumunsko za svou předchozí neutralitu žádalo po poraženém Bulharsku odstoupení území Jižní Dobrudže s důležitým dunajským přístavem Silistra. Požadované území bylo Rumunsku odstoupeno, přestože na něm nežili téměř žádní Rumuni.
O rok později, kdy vypukla první světová válka, se Karel I., vzdor veřejnému mínění volajícímu po přistoupení na stranu Trojdohody, rozhodl splnit smlouvu z roku 1883 a zaútočit na Rusko. Jeho náhlá smrt 10. října (27. září podle juliánského kalendáře) přetrhla tyto aktivity a jeho synovec a nástupce Ferdinand I. přešel na stranu Dohody (což se ukázalo pro Rumunsko velmi prospěšným).
Manželství a rodina
Se svou budoucí manželkou, Alžbětou zu Wied (1843–1916), se poprvé setkal roku 1861 v Berlíně. Roku 1869 Karel, v té době již kníže rumunský, přijel do Německa hledat nevěstu. Na královském plese v Berlíně se opět setkal s tehdy 25letou Alžbětou a 15. listopadu téhož roku se s ní v Neuwiedu oženil.
Z jejich manželství se narodilo jediné dítě, dcera Marie:
Děvčátko však ve věku tří let podlehlo těžkému, tehdy často smrtelnému onemocnění spálou. Tato tragédie poznamenala celý další život královských manželů; vedla k jejich ještě většímu odcizení ve vztahu i tak značně chladném. Alžběta se stavěla s jistým despektem ke Karlově neochvějné oddanosti jeho královským povinnostem; řekla jednou, že její „manžel nosí svou korunu, i když spí“. Až na sklonku Karlova života došlo k jejich sblížení.
Jejich manželství trvalo 43 let. Rumunsku Karel I. vládl 48 let, což je rekord v celé rumunské historii. Zemřel jako pětasedmdesátiletý 16. října roku 1914. Pochován byl v místě odpočinku rumunské královské rodiny v královské hrobce katedrály starobylého města Curtea de Argeș. Jeho žena ho přežila o pouhý rok a půl – zemřela 2. března roku 1916 ve věku 72 let a pohřbena byla po boku svého manžela a milované dcerky.