La frase iniziale della canzone (Go away from my window...) è una citazione di una composizione del cantante folk John Jacob Niles, Go 'Way From My Window. Niles è indicato da Dylan come una delle sue influenze primarie all'inizio di carriera nella sua autobiografia Chronicles - Volume 1. Il giornalista musicale biografo di Dylan Clinton Heylin afferma che un giornalista del Times presente nel maggio 1964 al concerto di Dylan alla Royal Festival Hall che segnò il debutto sul palco della canzone, fraintese la frase del testo nel ritornello che recita: «no, no, no, it ain't me babe» come una parodia della She Loves You dei Beatles con i loro «yeah, yeah, yeah».[1] Quando Bob Dylan eseguì i suoi primi concerti elettrici al Forest Hills Tennis Stadium, alla Carnegie Hall, all'Hollywood Bowl, e a Monterey nel 1965, rifece It Ain't Me, Babe con un arrangiamento elettrico.
Secondo alcune interpretazioni il soggetto della canzone sarebbe la rottura della relazione sentimentale di Dylan con Suze Rotolo (che rievocherà a suo modo anche nella lunga e velenosa Ballad In Plain D presente sempre sullo stesso album), alla quale il cantautore rivolgerebbe il suo caustico: «It Ain't Me Babe» ("Quello non sono io, bambina") indicandole con amarezza che non è lui l'uomo della sua vita.
Johnny Cash registrò una versione della canzone insieme alla moglie June Carter. La reinterpretazione fu pubblicata nel 1965 sull'album Orange Blossom Special, diventando un notevole successo.
I The Turtles nell'album It Ain't Me Babe del 1965. La loro versione ottenne un discreto successo negli Stati Uniti, raggiungendo l'ottava posizione nella classifica dei singoli.