Il commence sa carrière en 1975 en jouant dans diverses formations protopunk comme Bastard et London SS, où il rencontre Rat Scabies. Ensemble, ils recrutent le bassiste Ray Burns, alias Captain Sensible, et le journaliste Nick Kent au chant, pour former un temps les Subterraneans. Kent est ensuite remplacé par Dave Vanian et le groupe se rebaptise The Damned. Il se dit alors influencé par James Williamson, guitariste des Stooges et même par des musiciens de jazz comme Cecil Taylor[1]. James compose la majeure partie des titres des deux premiers albums des Damned sortis en 1977, Damned Damned Damned et Music for Pleasure.
Brian James quitte le groupe en 1978. Il fonde alors Tanz Der Youth avec d'anciens membres de Hawkwind (Alan Powell) et de Warsaw Pakt (Andy Colqhoun), puis Brian James Brain's. Il accompagne ensuite Iggy Pop en tournée, puis enregistre le simple Ain't that a Shame, avec Stewart Copeland à la batterie. Il apparaît aussi sur l'album de The SaintsOut in the Jungle.