Als Junior begann der Stürmer bei Polonia Gdańsk, von dem er 1970 zum Zweitligisten Arka Gdynia wechselte. Schnell wurde er zum „Schrecken der Torhüter“ und mit 15 Treffern 1972 Torschützenkönig. In diesem Jahr wurden die Verantwortlichen des polnischen Spitzenclubs Górnik Zabrze auf Szarmach aufmerksam; dort spielte er dann bis 1976 und wurde in dieser Zeit auch zum Nationalspieler. Anschließend verpflichtete ihn FKS Stal Mielec, wo er weitere vier Jahre blieb.
1980 wechselte Andrzej Szarmach nach Frankreich, wo er bei AJ Auxerre (1980–1985), EA Guingamp (1985–1987) und Clermont FC (1987–1989, als Spielertrainer) unter Vertrag stand. In den Jahren 1981 und 1982 wurde er von der Zeitschrift France Football zum besten ausländischen Spieler der Division 1 gewählt.
In der polnischen Liga erzielte er insgesamt 109 Tore, in der französischen in 148 Erstligaspielen 94 Treffer. Dreimal in Folge (1982–1984) wurde er zweitbester Torjäger der französischen Liga.
1974 heiratete er seine Frau Małgorzatą, mit der er zwei Kinder und vier Enkel teilt. Nach seiner Karriere haben sie sich in Frankreich eingebürgert und leben dieser Tage in Angouleme im westfranzösischen Département Charente in der Region Nouvelle-Aquitaine.