1964 begann Margolin, Gitarre zu spielen. Sein erstes musikalisches Auftreten war 1967 im Alter von 18 Jahren als Lead-Gitarrist in der Psychedelic-Rock-Band The Freeborne auf deren einzigen Album Peak Impressions, auf dem er kompositorisch das Lied Hurtin' Kind of Woman beisteuerte.
Ab 1980 hatte Margolin seine eigene Band, mit der er ab 1989 eine Reihe von Alben aufnahm. 2003 erschien das Album The Bob Margolin All-Star Blues Jam, bei dem Pinetop Perkins, Hubert Sumlin, Carey Bell, Willie „Big Eyes“ Smith und Mookie Brill mitmachten. Die „Bob Margolin All-Star Band“ wurde für einen Handy Award als Blues-Band des Jahres nominiert. 2005 wurde Bob Margolin als Gitarrist für eine Handy Award nominiert. 2004 erhielt er einen Handy Award für das beste Re-Issue für die Muddy „Mississippi“ Waters Live Legacy Edition. Seit diesem Jahr schreibt er auch regelmäßig für das Magazin Blues Revue und dem Online-Bluesmagazin Blueswax.
Bob Margolin ist mit wechselnden Bands unterwegs, darunter „The Bob Margolin Blues Band“, „The Bob Margolin All-Star Blues Jam“ und „The Muddy Waters Tribute Band“. Neben diesen Aktivitäten ist Bob Margolin auch ein gefragter Produzent.