Gli studi di Abbe, rivolti prevalentemente all'ottica, gli fecero conoscere nel 1866Carl Zeiss, a cui si associò nel 1875, assumendo la dirigenza della società di vetri ottici (sia per filtri sia per lenti) alla morte di quest'ultimo.
Una volta rimasto di fatto l'unico padrone della società, decise di rivoluzionarne la struttura organizzativa trasformandola in una cooperativa, che aveva tra i suoi membri, oltre che ai lavoratori, anche enti locali della zona e l'università di Jena.
Si devono a lui molti progressi nell'ottica strumentale. Importanti i diversi vari dispositivi dal lui inventati che perfezionarono l'uso del microscopio, fra gli altri, il condensatore di Abbe e il prisma di Abbe, quest'ultimo adoperato come camera chiara. Si dedicò al perfezionamento delle lenti e degli apparecchi ottici (come l'oculare ortoscopico).
Nonostante il successo professionale ed economico, Abbe non dimenticò le sue origini e si fece promotore di numerose iniziative a favore degli strati più poveri della popolazione.