Gatan fick sitt nuvarande namn i samband med den stora namnrevisionen i Stockholm 1885 och avsåg den bibehållna delen av Ladugårdslands Tullgata. Gatans namn hade föreslagits redan år 1806 och är uppkallad efter Tyskbagarbergen som låg norr om där Karlavägen går idag. Bergen i sin tur har fått sitt namn efter den tyske bagaren Martin Kammecker (försvenskat Mårten Kammecker) som runt 1670 lät bygga Kammeckers kvarn på bergets krön. Martin Kamecker och även hans son Jonas fick titeln ”slottsbagare” och lär vara den förste som bakade saffransbröd i Sverige.
På 1860-talet sprängdes stora delar av Tyskbagarbergen bort för det nya gatunätet. Sprängmassorna användes för att fylla ut Stora Träsket. Den första gatan som genomkorsade Tyskbagarbergen var Nybrogatan som då hette Karl XV:s port norr om Karlavägen, ett namn som idag lever kvar som kvartersnamn vid Tyskbagargatan.
