Brown begon op achtjarige leeftijd met pianolessen. Vervolgens wilde hij overstappen op de trombone maar hij had daar geen geld voor. Omdat er in zijn schoolorkest een plaats vrij was voor een contrabassist stapte hij over op de contrabas. Toen hij twintig was verhuisde hij naar New York waar hij werd aangenomen door Dizzy Gillespie. Hij speelde van 1946 tot 1951 in diens band, met Milt Jackson (vibrafoon), Kenny Clarke (drums), en John Lewis (piano) die later met Percy Heath het Modern Jazz Quartet zouden vormen. In 1947 trad Ella Fitzgerald toe tot de band. Brown en Fitzgerald trouwden datzelfde jaar, en adopteerden een kind van Fitzgeralds halfzuster Frances, dat zij Ray Brown jr. noemden. Ze scheidden in 1953.
Brown had in 1949 Oscar Peterson ontmoet en speelde van 1951 tot 1966 in diens trio. Daarna was hij naast musicus ook manager van andere musici, onder andere van het Modern Jazz Quartet. Begin jaren tachtig ontdekte hij Diana Krall. Brown bleef optreden tot zijn dood. Hij overleed op 75-jarige leeftijd terwijl hij een dutje deed voor hij zou optreden.
.jpg)
.jpg)
.jpg)