Carl Christian Koldewey 1837 október 26-án született Németországban, Bücken bei Hoya-ban. Johann Cristian Koldewey kereskedő és Wilhelmine Meyer fiaként.
Gimnáziumi tanulmányai után 1853 Húsvétján hajósinasnak állt. A brémai Tengerész Iskolába járt, ahol Arthur Breeusing legjobb tanítványa volt. 1861-ben visszament a tengerész iskolába képzett kapitányként. Koldewey 1866-1867-ben Hannoverben és Göttingenben tanult az egyetemen, többek között matematikát, fizikát és csillagászatot.
1868-ban kapitánya volt az Északi-sarkra indított első német expedíciónak. Grönlandra keleti partjai mentén haladtak amennyire csak lehetséges volt, de a csapások és az erős jegesedés miatt nem értek célba, végül a 81 ° 5-ig, a Spitzbergákig jutott el, majd visszafordult.
1869-1870-ben vezetője volt a második német Északi-sarki expedíciónak Grönlandra és a Jeges-tengerre a Germania kapitányaként. Az expedíció, a Germania gőzhajóval és a Hansa vitorlás hajóval Paul Friedrich Hegemann kapitány parancsnoksága alatt, az expedícióhoz csatlakozott tudósokkal: Karl Nikolai Jensen Borgen (csillagász, fizikus), Ralph Copeland (csillagász, fizikus), Grönlandon és a Jeges-tengeren Adolf Pansch (zoológus, botanikus, orvos ), Julius von Payer mint térképész, Reinhold Buchholz (1837-1876; orvos és zoológus) és Carl Gustav Laube geológus.
Bremerhavent 1869. június 15-én hagyta el az expedíció, a két hajó közül a Germania 1869. augusztus 5-én elérte a Sabina szigeteket, majd augusztus 5-én 75 fok 30'-en a NO Shannon-szigetet, ahonnan a teljesen zárt jég miatt kénytelen volt visszafordulni.Az expedíció igazi fénypontja a Kaiser-Franz-Joseph-fjord felfedezése és feltárása volt.
Később az expedíciók befejezése után Koldewey mint író működött és szerzőként is részt vett a tudományos publikációkban. 1871-től a német Naval Obszervatoriumban dolgozott Hamburgban. 1905. július 31-én mint za Admiralitás igazgatója ment nyugdíjba.