Népes családban született, művészi kézműves környezetben nőtt fel. Édesapja elismert esztergályos mester volt, gyöngyházból, borostyánkőből, elefántcsontból és más nemes anyagokból készített kézzel, illetve újfajta gépekkel luxustárgyakat. Zeiss a weimari Wilhelm Ernst Gimnáziumba járt. Egészségi problémák miatt az utolsó előtti évben módosított érettségi vizsgát tett, ami lehetővé tette számára, hogy bizonyos szakokat, elsősorban természettudományokat tanulhasson az egyetemen. Mivel gyerekkora óta érdekelte a mechanika, 1834-ben Jénába ment, és a Jénai Egyetem magántanárához, Friedrich Wilhelm Körnerhez szegődött tanoncnak. Körner a Szász-Weimar-Eisenach hercegség udvari finommechanikai műszerésze volt. Zeiss négy évig tanult mesterénél, közben természettudományokat és matematikát hallgatott a Jénai Egyetemen.
Tanoncévei után 1838 és 1845 között vándor mesterlegényként járt Stuttgartban, Darmstadtban. Bécsben egy gépgyárban dolgozott és vasárnaponként a gépgyártást népszerűsítő előadásokat hallgatta a Műszaki Egyetemen. Akkoriban Bécs számított a közép-európai gépgyártás legfontosabb központjának. Végül egy évig tanult Berlinben egy mechanikai műszerésznél. Akkoriban Zeiss az optikával csak érintőlegesen foglalkozott.
Vándorévei után Weimárba tért vissza, tudományos műszereket szeretett volna gyártani. Engedélyt azonban nem kapott a manufaktúra felállítására azzal az indokkal, hogy már két mechanikai műhely működik szülővárosában, és nincs szükség egy harmadikra. Ekkor Jénába ment, és hogy a tartózkodási engedélyt megszerezhesse, újra diák lett. Beiratkozott az egyetemre, matematikát és kémiát tanult.
1846-ban végre megnyithatta saját műhelyét, ahol a legkülönfélébb műszereket gyártotta és javította. Nagyítót tükörből csiszolt. Viszonteladóként árusított szemüveget, távcsövet, hőmérőt, mérleget, barométert. 1847-ben kezdett egyszerű mikroszkópokat gyártani. Nagy sikerük lett, mert olcsóbbak és pontosabbak voltak, mint a konkurens cégek termékei.
1857-ben a kétlencsés objektívet okulárral kombinálta, hogy a mikroszkóp teljesítményét növelje. 1860-ban a Jénai Egyetemre hívták, ahol kísérleti műszereket gyártott és javított. Zeiss visszatért ahhoz a régi elgondolásához, hogy az objektíveket a matematika felhasználásával kell elkészíteni. Ehhez a munkához sikerült megnyernie Ernst Abbe fizikust. 1872-ben elkészült az Abbe elméleti számításai alapján készített, nagyobb precizitású mikroszkóp, amit a természettudósok és orvosok dicsértek. 1875-ben Ernst Abbe is üzlettárs lett, együtt hozták létre a Zeiss Betegsegélyező Kasszát, ami ingyenes orvosi kezelést és gyógyszereket biztosított a manufaktúra dolgozóinak, akiknek száma már elérte a hatvanat. 1882-ben Otto Schott vegyész is üzlettárs lett.
