Adeler ble utnevnt til amtmann i Bratsberg30. juli1764, 28 år gammel. Den 20. februar1771 ble han mot sin vilje forflyttet til Lister og Mandals amt, fordi «hans forkjøpsret til trælast, som eier av Gimsø, kom i strid med hans embede». I 1773 blev han etter søknad igjen ansatt i Bratsberg, men på betingelse av at hans trelasthandel ble besørget av amtmannen i Buskerud. I 1781 ble han igjen flyttet, men nå som befordring til stiftamtmann i Kristiansand. Undersøkelsene i anledning Lofthusreisingen hadde brakt for dagen en del misligheter i hans forhold, nemlig den ulovlige og urimelige friskyss han tiltok seg på sine mange reiser mellom Kristiansand og Gimsøy i rent private anliggender. Han frasa seg embetet i 1787 og flyttet hjem til Gjemsø kloster.
Gjemsø
På Gjemsø var han en foregangsmann i jord- og skogdrift, stiftet 1777 «Bradsberg Amts oeconomiske Opmuntringsselskab.» som utdelte medaljer og premier til bønder, og ga 70 mennesker husly en hel vinter etter Skiens store brann i 1777. Han hadde imidlertid ikke god forretningssans og fikk økonomiske problemer. Han solgte derfor i år 1800 Gjemsø klosters jord- og skogeiendommer i Øvre Telemark, sammen med diverse sagbruk, tomter med videre i Solum og Skien, til eidsvollsmannen Didrich von Cappelen (død 1828) i Skien.
Frederik Georg Adeler fikk i 1766 bygd Solum kirke. Han fikk utstyrt kirkens gallerifront med store malte monogramskjold og våpenskjold for Adeler, morens slekt Rosenkrantz, hans første kones slekt Cicignon og hennes morsslekt Brügmann.
Antakelig er det Frederik Georg Adeler som fikk bygd forvalterboligen som kalles Lagaardgården eller «Ladegården», og som i dag er Klostergata 32 på Klosterøya i Skien.[4]
Adeler forbigikk sitt eneste overlevende barn, Anton Beatus, som hadde svak helse og som i 1818 ble gift med enken Mogensine Bentzen. Frederik Georg Adeler testamenterte i stedet herregården Gjemsø kloster og resten av eiendommene til sin danske brorsønn, amtmann og overpresident i København, lensbaronFrederik Adeler til Adelersborg, mens Anton Beatus fikk en livrente. Anton Beatus ble gift med enken Mogensine Bentzen, de flyttet til Christiania og fikk datteren Antonie C. E. Adeler gift med Christian Frederik Lassen, og disses sønn Cort S. A. Lassen byttet i 1849 slektsnavn til Adeler.