Schmitz studerade vid akademien i Düsseldorf, vann 1883 ett första pris vid tävlingen om Viktor Emanuel-monumentet i Rom (som han inte fick utföra) och gjorde ritningar till Landesmuseum i Linz (1884). Bland hans verk från de följande åren är Tonhalle i Zürich (1892) betydande. Han var från 1886 bosatt i Berlin, där han blev professor 1896. Samma år utförde han flera byggnader vid den stora industriutställningen där. Bland hans senare utställningsbyggnader märks tyska huset i Chicago 1904.
Sitt största rykte vann Schmitz genom sina nationalmonument vid Kyffhäuser, i Porta Westfalica (1896), vid Deutsches Eck i Koblenz (1897), i Halle (1901) samt Völkerschlachtdenkmal i Leipzig (fullbordad 1913). Han lät i regel monumenten liksom växa upp ur naturformerna, som om de hörde samman med dessa. I väldiga massor, med starka konturer, byggde han upp monument som försågs med en originell ornamentik. Schmitz fick många efterföljare och de tunga "Bismarcktorn" som restes på många platser i Tyskland har sin utgångspunkt i hans monumenttyp.
