James ble født på sykehuset for «fargede» i Yazoo City og vokste opp på en plantasje utenfor Bentonia. Hans far var en pastor i baptistmenigheten, som hadde kvaler rundt sitt kall og forlot familien mens Skip fortsatt var barn.
Innen han nådde slutten av tenårene hadde musikk blitt det viktigste i hans liv. Den merkelige gitarstemmingen han er kjent for lærte han i denne perioden av Henry Stuckey, en eldre, lokal gitarist, som skal ha lært det av soldater fra Bahamas mens han tjenestegjorde i Frankrike under 1. verdenskrig. Samtidig tok Skip pianotimer så lenge hans mor hadde råd til å betale for dem.
Uferdig diskografi
Hard Time Killing Floor Blues. Shout Factory, 2003
Complete Recorded Works (1931) Reissue. Document, 1991
Devil Got My Woman. Vanguard, 1968
Today! Vanguard, 1964
R.L. Burnside Wish I was in Heaven Sitting Down Fat Possum, 2000
Studio Sessions Rare and Unreleased Vanguard Records (1967) 2003