McCartney compose cette chanson au piano dans la maison de son père à Liverpool. Il la joue à John Lennon pendant les sessions d'enregistrement de With a Little Help from My Friends. Celui-ci lui conseille de l'écrire, mais Paul n'en fait rien, persuadé de réussir à s'en souvenir.
Une première démo est gravée le 6 septembre 1967, puis la chanson est enregistrée les 25, 26 et aux studios d'Abbey Road. Les flûtes sont ajoutées le 20 octobre et des parties de basse le 25.
The Fool on the Hill figure dans le téléfilmMagical Mystery Tour diffusé à la BBC le . La scène a été tournée en France dans la région de Nice. Le 31 octobre, Paul McCartney, Mal Evans et le caméraman Aubrey Dewar, arrivés dans le midi deux jours plus tôt, se font prendre par un taxi à trois heures trente le matin et demandent au chauffeur de les conduire à un endroit où le lever du soleil serait bien visible. Ils tournent jusqu'à la tombée du jour, mais finalement, seules les séquences matinales sont utilisée pour le clip[1].
La musique du film est sortie d'abord aux États-Unis le 27 novembre dans un LP du même nom où cinq morceaux issus de singles du groupe publiés durant l'année sont ajoutés en complément. Au Royaume-Uni, elle est publiée dans un double EP de six chansons, paru le . La version sur CD, uniformisée internationalement, reprend l'édition américaine[2]
En 1973, la chanson est placée sur la compilation The Beatles 1967-1970. La version démo ainsi que la prise n°4 du sont publiées sur Anthology 2 en 1996. Un nouveau mixage de la chanson est publié sur itunes en 2006 en complément de l'album Love.