In 1961 werd voor het eerst de groep The Pharaohs opgericht met Sam the Sham als zanger. De overige leden waren Carl Medke, Russell Fowler, Omar 'Big Man' Lopez en Vincent Lopez. De groep nam een plaat op, maar die werd geen succes. Eind 1962 ging de groep uit elkaar. In het voorjaar van 1963 was Vincent Lopez gaan spelen bij Andy & the Nightriders, een bandje uit Leesville, Louisiana. Sam the Sham werd gevraagd of hij organist van Andy & the Nightriders wilde worden, hoewel hij pas twee dagen een orgel had en enkel akkoorden kon aanslaan. Naast Vincent en Sam bestond de groep uit Andy Anderson en David A. Martin. Sam kwam in deze periode aan zijn bijnaam omdat Andy hem vaak aankondigde als 'The Sham'. Later dat jaar verhuisde de band naar Memphis, waar ze veel optraden. Vincent en Andy verlieten echter na een paar maanden de groep, waardoor Sam en David alleen overbleven. Sam werd leadzanger en naast David, die bassist was, werd de groep aangevuld met twee nieuwe leden: drummerJerry Patterson en gitaristRay Stinnett. De groep heette vanaf dat moment Sam the Sham & the Pharaohs. Enige tijd later kwam ook saxofonistButch Gibson bij de groep. In deze samenstelling scoorde de groep hun eerste hits. De optredens van de groep vielen op omdat de leden in lange gewaden optraden en hoofddoeken droegen.
De eerste twee singlesBetty and Dupree en Haunted house werden geen succes, maar bij de derde was het raak. De single Wooly bully verkocht wereldwijd 3 miljoen exemplaren en kwam in de AmerikaanseHot 100 op #2. In Nederland en Vlaanderen werd de single zelfs een nummer 1-hit. Oorspronkelijk was het nummer door Sam geschreven als Hully gully. Deze tekst werd echter door de platenmaatschappij verboden omdat er copyright op zat; de hully gully was een dansje. Daarna veranderde hij de tekst naar Wooly bully, de naam van zijn kat. Hoewel het liedje een groot succes was, werd het op sommige radiostations geboycot, omdat het nummer zou verwijzen naar (homo)seks.
In Nederland en Vlaanderen wisten Sam the Sham & the Pharaohs hun succes niet te evenaren of zelfs te benaderen. De opvolgers Ju ju hand, Ring dang doo en Lil' red ridin' hood bleven allemaal in de onderste helft van de top 40 hangen. Van dat laatste nummer wist Sam in zijn vaderland wél een grote hit te maken, want daar bereikte het nummer net als Wooly bully de tweede plaats in de hitparade. Tegen die tijd bestond The Pharaohs uit vier andere leden: Frank Carabetta, Andrew Kuha, Tony Gerace en Billy Bennett. De laatste twee werden later weer vervangen door Ronnie Jacobsen en Louis Vilardo. Daarnaast werd de groep in 1966 aangevuld met drie achtergrondzangeressen die zich de Shamettes noemden: Fran Curcio, Lorraine Gennaro en Jane Anderson. De singles die in deze samenstellingen volgden, werden geen grote hits. Tussen 1967 en 1970 ging de groep uit elkaar en ging Sam the Sham solo verder.
Als solo-artiest trad Sam op onder de namen Sam the Sham en Sam Samudio. In 1972 kreeg hij een Grammy Award voor beste hoestekst, voor de (soms ironische) bedanklijst op zijn albumSam, hard and heavy. In tegenstelling tot zijn eerdere repertoire is dit een bluesalbum. Later neemt hij nog een discoversie van Wooly Bully op en schrijft hij twee nummers voor de soundtrack van de filmThe border. Tegenwoordig is hij predikant en neemt hij nog steeds albums op.