Der Sohn von Wilhelm Hartmann, Leiter eines Spielwaren-Exportunternehmens, und dessen Frau Maria, geborene Betz, nahm nach dem Abitur ab 1907 Schauspielunterricht bei Adalbert Czokke. Nach einer klassischen Theaterausbildung erhielt Paul Hartmann im Herbst 1908 ein Engagement am Stadttheater Zwickau.
Bereits früh fand Hartmann den Weg zum Film und spielte zunächst jugendliche Liebhaber, später romantische und melancholische Charaktere. Mit Aufkommen des Tonfilms wechselte Hartmann ins Fach des harten und unerbittlichen Heroen, so zum Beispiel als Konstrukteur und Kapitän neben Hans Albers in F.P.1 antwortet nicht und als aufopferungsvoller Ingenieur in Curtis BernhardtsDer Tunnel. Seit Mai 1937 gehörte er dem Kunstausschuss der UFA an. Sein Einsatz in der nationalsozialistischen Kulturpolitik sowie die Mitwirkung in Propagandafilmen wie Pour le mérite (1938) und Ich klage an (1941, unter der Regie von Wolfgang Liebeneiner) taten jedoch nach dem Zweiten Weltkrieg weder seiner Karriere noch seiner Beliebtheit einen Abbruch.
Nach einem 1945 auferlegten Auftrittsverbot kehrte Hartmann im April 1948 in Bonn bei einer Faust-Inszenierung in der Titelrolle auf die Bühne zurück. In den 1950er Jahren agierte er am Düsseldorfer Schauspielhaus, am Berliner Theater am Kurfürstendamm und anderen Theatern der Bundesrepublik sowie am Wiener Burgtheater. Er konnte auch seine Karriere als Filmschauspieler wieder aufnehmen, obwohl Hartmann nun wegen seines vorgerückten Alters vorwiegend Nebenrollen als älterer Charakterdarsteller übernahm.
Hartmann war seit dem Ersten Weltkrieg mit einer slawonischen Ballettmeisterin verheiratet, die 1952 starb. 1955 heiratete er die Malerin Elfriede Lieberun. Er liegt auf dem Friedhof Rosenheim begraben.
Herbert A. Frenzel, Hans Joachim Moser (Hrsg.): Kürschners biographisches Theater-Handbuch. Schauspiel, Oper, Film, Rundfunk. Deutschland, Österreich, Schweiz. De Gruyter, Berlin 1956, DNB010075518, S. 252 f.
C. Bernd Sucher (Hrsg.): Theaterlexikon. Autoren, Regisseure, Schauspieler, Dramaturgen, Bühnenbildner, Kritiker. Von Christine Dössel und Marietta Piekenbrock unter Mitwirkung von Jean-Claude Kuner und C. Bernd Sucher. 2. Auflage. Deutscher Taschenbuch-Verlag, München 1999, ISBN 3-423-03322-3, S. 271.
Kay Weniger: Das große Personenlexikon des Films. Die Schauspieler, Regisseure, Kameraleute, Produzenten, Komponisten, Drehbuchautoren, Filmarchitekten, Ausstatter, Kostümbildner, Cutter, Tontechniker, Maskenbildner und Special Effects Designer des 20. Jahrhunderts. Band 3: F – H. John Barry Fitzgerald – Ernst Hofbauer. Schwarzkopf & Schwarzkopf, Berlin 2001, ISBN 3-89602-340-3, S. 554 f.