Seit 1950 gehörte Jo Herbst zu den Mitgliedern des Berliner Kabaretts Die Stachelschweine. Er gehörte dem Ensemble bis 1964 an, bis 1961 wirkte er auch an den Texten mit. Daneben schrieb er Texte für andere Kabaretts wie den Nürnberger Trichter, Die Schiedsrichter und die Münchner Lach- und Schießgesellschaft. Zusammen mit Wolfgang Neuss trat er in Radiosendungen auf. Im Jahr 1960 wirkte er auch bei Neuss’ Film Wir Kellerkinder mit.
Neben seiner Laufbahn als Kabarettist war er in zahlreichen Filmen und Fernsehsendungen zu sehen. Für den Film Das Mädchen Rosemarie von Rolf Thiele schrieb er die Chansons. Ab 10. März 1955 war er mit Annette Grau verheiratet.
Im September 1980 erlag Jo Herbst im Alter von 52 Jahren in Berlin einer schweren Krankheit.[1] Sein Grab befindet sich auf dem landeseigenen Friedhof Heerstraße in Berlin-Westend (Grablage: 7-G-13/14).[2]