Jiménez stammede fra Andalusien, og han studerede jura i Sevilla, en uddannelse, han dog aldrig brugte. I stedet begyndte han at skrive digte og fik udgivet to samlinger af disse allerede som 18-årig. Hans fars død samme år medførte en depression hos ham, og han gennemgik et længere behandlingsforløb i Frankrig og senere i Madrid. I 1911-12 fik han igen gang i digtningen og skrev en række stærkt erotiske digte. Da han i den periode opholdt sig på et sanatorium drevet af nonner, der ofte indgik i digtene, og abbedissen opdagede hans aktiviteter, blev han sendt væk fra sanatoriet.
Kort efter blev han forelsket i Zenobia Camprubí, som var en agtet oversætter af den indiske digter Rabindranath Tagore. Jiménez skrev i den periode nogle digte, der var mindre eksplicitte i erotisk henseende, og han havde planer om at udgive også nogle af de mere ligefremme. Dette opgav han dog, da Camprubí reagerede med afsky på den første af bøgerne. De erotiske digte blev derfor gemt af vejen og først kendt i 2007, da omkring hundrede af dem blev udgivet i samlingen Libros de amor (Kærlighedsbogen).
I stedet gav han sig til at skrive digte om emner som musik og farve, og han skrev et prosadigt om sin hjemegn med titlen Platero y yo (Platero og jeg). Camprubí var blevet formildet, og parret giftede sig i USA i 1916. Da den spanske borgerkrig brød ud, gik de i eksil i først Cuba, senere USA og Puerto Rico. Her slog de sig mere permanent ned i 1946.
Jiménez blev senere professor i spansk sprog og litteratur ved University of Maryland nær Washington D.C. I 1956 fik han tildelt Nobelprisen i litteratur, men han kunne ikke rigtigt glæde sig over det, da hans hustru, Zenobia, blot tre dage senere døde af cancer. Dette kom han sig aldrig over, og han døde to år senere.
