Sangen blev skrevet af sangeren Mick Jagger og guitaristen Keith Richards, selvom Jagger hovedsagelig skrev sangens tekst. Det er denne tekst der tiltrækker folk til nummeret, da det er skrevet i sangerens perspektiv:
Yeah, mama and papa told me I was crazy to stay; I was gay in New York, which is a fag in L.A.; So I saved my money and I took the plane; Wherever I go, they just treat me the same
I et 1978 interview med Rolling Stone, for at markere udgivelsen af Some Girls, svarede Jagger på spørgsmål omkring sangens tekst: "... Der er én sang, der er en regulær bøssesang – "When the Whip Comes Down" – men jeg ved ikke hvorfor jeg skrev den. Det er mærkeligt – Rolling Stones har altid tiltrukket en masse mænd... jeg ved ikke hvorfor, jeg skrev den. Måske "sprang jeg ud af skabet" {griner}. Den handler om en fiktiv person, der kommer fra L.A. til New York City og bliver skraldemand... Jeg håber virkelig at radiostationerne vil spille den [1]." Teksten forsætter med at hentyde til den kendsgerning, at den fiktive person i sangen bliver en homoseksuel prostituerede, med Jagger der skjuler dette faktum for at sikre at radiostadioner ville spillede denne sang:
Yeah I go to 53rd Street and they spit in my face; But I'm learning the ropes, yeah, I'm learning a trade; The East River truckers is churning with trash; I've got so much money but I spend it so fast
Yeah, some call me garbage when I'm sweeping up the street; But I never roll and I never cheat; And I'm filling a need, yeah, I'm plugging a hole; My mama's so glad I ain't on the dole
"When the Whip Comes Down" blev indspillet på Pathé Marconi Studios i Paris, Frankrig, mellem månederne oktober og december, 1977. Det var endnu en sang fra Some Girls, hvor det kun var medlemmerne fra The Rolling Stones, der spillede på nummeret. Jagger sang og spillede guitar, sammen med Richards og Ron Wood. Wood bidrog også ved at spillede på pedal steel guitar i nummeret, et instrument der også optrådte på andre sange fra Some Girls, som for eksempel "Shattered" og "Far Away Eyes". Bill Wyman spillede bass, mens Charlie Watts spillede sangens trommer. Koret bestod af Richards, Jagger og Wood [2].
Nummeret "When the Whip Comes Down" blev betragtet af de fleste Stones fans som det tætteste The Stones kom til punk musikken på albummet, som mange kaldte The Stones "punk album". Det er også en af de få sange på albummet, der er stærkt inspireret af New York, da størstedelen af The Stones boede i New York på det tidspunkt.
En version af sangen, fra den 6. juli1978, blev udgivet på opsamlingsalbummet fra 1981 Sucking in the Seventies, der indeholdt meget af deres senere 1970er materiale. Den er også singlen "Respectable" b-side. En live version fra deres 2002-2003 Licks Tour blev optaget, og udgivet på deres 2004 live albumLive Licks.
