Encore enfant, elle est initiée au jazz grâce à un oncle, le trompettiste Jimmy Burgess, qui lui fait écouter Miles Davis et Dizzy Gillespie.
Elle achète les disques du chanteur Al Hibbler, qui influence sa manière de chanter. Elle est sur scène à l'Apollo Theater de Harlem à l’âge de dix ans, et malgré l'enthousiasme du public, sa mère refuse de la laisser partir en tournée avec son oncle. Marlina Burgess poursuit ses études au State Teachers' College à Potsdam (État de New York), sans toutefois les mener à terme[1].
Découverte par Chess Records en 1966, Marlena Shaw enregistre Mercy, Mercy, Mercy! pour Cadet Records (filiale de Chess Records), et le single est un succès. Ce label la pousse à enregistrer un premier album : ce sera Out of Different Bags (1967). La diversité des styles y compris le blues, le jazz et les standards pop, se retrouve dans le nom même de l'album. Marlena Shaw est remarquée par Count Basie et devient la chanteuse solo de sa formation pendant quatre ans.
En 1972, elle se sépare du Count Basie Orchestra, pour signer chez Blue Note Records, et devient ainsi la première femme à signer sur ce label. Elle part ensuite en tournée avec Sammy Davis Jr. Marlena Shaw réalise plusieurs singles pour Blue Note ainsi que cinq albums.
Elle enregistre un des plus gros tubes pendant la période disco, Touch Me in the Morning chez Columbia Records. Parmi ses titres les plus connus : Woman of the Ghetto, California Soul ou Feel Like Making Love.
Lors de ses spectacles, très à l’aise sur scène, avec sa présence extravertie et son charisme, ses performances enthousiasment le public par un mix énivrant de jazz direct, de soul, de pop et de R&B classique et font d’elle une « bête de scène ».