Michelet entstammte einer in Berlin etablierten, hugenottischen Tuchhändlerfamilie. Sein Vater Louis Michelet (1775–1841) war Mitinhaber, später (dank der Heirat mit Karl Ludwigs Mutter Victoire Girard, 1777–1831) alleiniger Besitzer der Seidenfabrik Girard & Michelet.
Nach dem Besuch des Französischen Gymnasiums nahm Michelet 1819 ein Jurastudium an der Alma Mater Berolinensis auf. Dort hörte er Vorlesungen bei den Juristen Friedrich Carl von Savigny, Moritz August von Bethmann-Hollweg und Carl Wilhelm von Lancizolle, bald aber auch Theologie bei Schleiermacher und Logik und Rechtsphilosophie bei Hegel, der zu Michelets Leitbild wurde. 1822 legte er die erste juristische Staatsprüfung ab und schrieb danach seine Dissertation bei Hegel, die er 1824 einreichte[1]. Nach Ablegung der Lehramtsprüfung lehrte er von 1825 bis 1850 am Französischen Gymnasium. Nach seiner Habilitation 1826 wurde er 1829 auf eine außerordentliche Professur für Philosophie an der Berliner Universität berufen, die er bis 1874 ausfüllte.
Seine Wirkung entfaltete er vor allem in der Verbreitung der Hegelianischen Philosophie. Er rekonstruierte Hegels Vorlesungen über die Geschichte der Philosophie auf der Grundlage von Vorlesungsmitschriften und handschriftlichen Notizen Hegels für den Druck, gehörte (mit Ludwig Boumann, Fritz Förster, Eduard Gans, Karl von Hegel, Leopold von Henning, Heinrich Gustav Hotho, Philipp Marheineke, Karl Rosenkranz und Johannes Schulze) zum „Verein von Freunden des Verewigten“, die von 1832 bis 1845 die Vollständige Ausgabe von Hegels Werken herausgaben, und war von 1860 bis 1866 Redakteur der hegelianischen Zeitschrift Der Gedanke. Zu seinen Studenten gehörten David Friedrich Strauß und August Cieszkowski, mit dem er 1843 die Philosophische Gesellschaft zu Berlin gründete.