Il est né à Rossville dans le Tennessee, près de Memphis. Ses parents, qui sont fermiers, meurent quand McDowell est un jeune garçon. Il commence à jouer de la guitare à l'âge de 14 ans dans les bals autour de Rossville. Pour fuir la condition de laboureur à la campagne, il part à Memphis en 1926 où il travaille dans l'alimentation. Il exerce également nombre d'autres petits boulots et joue de la musique en échange de pourboires. Plus tard en 1928, il voyage dans le sud du Mississippi en gagnant sa vie comme saisonnier lors des récoltes de coton. Il s'installe comme fermier à Como (État du Mississippi), à environ 40 miles au sud de Memphis en 1940 ou 1941, tout en continuant à jouer de la musique pour des bals et des pique-niques.
Au début, il joue de la guitare slide à l'aide d'un couteau de poche, puis avec un os de côte de bœuf, puis plus tard avec un morceau de verre pour obtenir un son plus clair.
Son blues, très « épuré », voire minimaliste se contente souvent de doubler à la guitare la mélodie chantée. (Cf, Good morning little school girl, you gotta move...).
Sa longévité (rare pour un bluesman !) lui permet de côtoyer les grands du blues. Certains n'hésitent pas à citer Fred McDowell comme influence directe malgré son style si particulier.
Ses derniers blues retrouveront la grille habituelle (grille blues en 12 mesures) comme progression harmonique, et avec un accompagnement polyphonique à la guitare.
McDowell est mort d'un cancer le , âgé de 68 ans. Il fut enterré à Hammond Hill Baptist Church, entre Côme et Senatobia, État du Mississippi.
