Jacob va ser el major dels sis germans, Wilhelm, Karl, Ferdinand, Ludwig Emil i Lotte que van tenir Philipp Wilhelm Grimm i Dorothea Grimm (nom de soltera Zimmer). Els primers anys de la seva infantesa van transcórrer a Hanau fins que, el 1791, la família es va traslladar a Steinau a causa del nomenament del seu pare com a Amtmann, una mena de jutge comarcal, càrrec que va tenir fins a la seva mort el 1796. En morir el seu pare la situació econòmica de la família va passar a ser molt precària i per això Dorothea va enviar a Jacob i a Wilhelm a casa de la seva germana Henriette Zimmer, a Kassel. Allà van estudiar l'equivalent de l'actual batxillerat i el 1802, Jacob es matriculà a la Universitat de Marburg per estudiar Dret, seguint la tradició familiar. Un any més tard, s'hi afegiria Wilhelm.[1]
Tot i que Jacob va realitzar uns estudis brillants no va arribar a acabar la carrera sinó que va ser nomenat ajudant del seu mestre, Friedrich Karl von Savigny, amb qui es va traslladar a París el 1805 per tal d'estudiar els manuscrits jurídics medievals de la Bibliothèque Nationale. En aquesta estada també aprofita per aprofundir en el seu coneixement del francès i per estudiar la literatura alemanya de l'edat mitjana per la que se sentia molt atret.[1]
Al retornar de París treballa durant un temps com a funcionari administratiu del departament de Defensa de Kassel fins que, el 14 d'octubre de 1806, les tropes napoleòniques derroten l'exèrcit prussià i Jacob és destituït del seu càrrec. En aquell moment decidí deixar la seva carrera com a jurista per dedicar-se per complet a l'estudi de la literatura medieval alemanya. El 1808 mor la seva mare Dorothea, cosa que el col·loca en una situació crítica, amb 23 anys i cinc germans al seu càrrec. Això fa que accepti el lloc de director de la biblioteca particular del Rei de França a Whilhelmshöhe, prop de Kassel, cosa que li permet continuar amb l'estudi de la literatura.[1]
Després de la retirada dels francesos la situació política torna a la anterior a l'ocupació i Jacob és reclamat per l'Administració de l'Electorat pel servei diplomàtic sent nomenat secretari de Legació. Això fa que, el 1814, torni a París i el 1815 participi en el Congrés de Viena, on es va relacionar amb personalitats com Metternich, von Hardenberg o Wilhelm von Humboldt. El 1818 torna a París amb l'encàrrec específic de recuperar els manuscrits alemanys que s'havien emportat els francesos. A finals d'aquell any abandona la carrera diplomàtica i entra com a segon bibliotecari a la biblioteca de Kassel on treballava el seu germà Wilhelm. on s'hi estarà fins que, desavinences amb el príncep elector Guillem II, faran que els dos germans renunciïn al seu lloc el 2 de novembre de 1829.[1]
Després d'allò, els dos germans van entrar a la Universitat de Göttingen, Jacob amb una càtedra i el lloc de bibliotecari i amb la promesa de ser nomenat director de la biblioteca. Aquesta situació va durar fins que el 1837 un nou canvi polític va fer trontollar tota la vida dels germans Grimm. A la mort de Guillem IV del Regne Unit i Hannover el seu successor, el seu germà Ernst August II de Hannover va refusar prestar jurament a la Constitució de Hannover, vigent només des de 1833, i va suspendre les sessions del Parlament. Això va fer que Jacob, fervent defensor de la democràcia pel poble alemany, signés juntament amb altres sis professors, inclòs el seu germà, un manifest en contra de la violació de la Constitució el que va provocar, no només la seva destitució fulminant si no que, a tres de ells (el mateix Jacob, Friedrich Christoph Dahlmann i Georg Gottfried Gervinus), també van ser obligats a deixar el Regne de Hannover.[1]
Jacob va tornar a Kassel on poc després també va tornar Whilhelm i fins al 1840 van passar penúries econòmiques i dificultats a nivell professional, ja que, el Rei de Hannover, feia tots els possibles per què les universitats alemanyes no contractessin als Grimm. Però el 1840 va tenir lloc un nou canvi polític, aquest cop favorable als interessos dels Grimm. A la mort de Guillem III va pujar al tron Frederic Guillem IV de Prússia, conegut com "el romàntic" i que estava més interessat en la cultura que en les armes. En novembre de 1840 es fa oficial el nomenament de Jacob com a membre de número de la Acadèmia de Ciencies de Berlín i se li encomana la elaboració del Deutsches Wörterbuch, el diccionari alemany.[1]