Rough spillede på klubplan størstedelen af sin karriere i hjemlandet, hvor han blandt andet repræsenterede Partick Thistle, Hibernian og Celtic.[1] Længst tid tilbragte han hos Partick, hvor han var tilknyttet i 13 sæsoner. Her var han i 1971 med til at vinde den skotske Liga Cup. I sin ene sæson hos Celtic vandt han FA Cuppen.