Alors qu'il est âgé de sept ans, sa famille déménage à Swindon dans le Wiltshire en Angleterre. Il va au Swindon College of Art où il joue avec un groupe nommé Rick's Blues avec Rick Davies, qui plus tard formera Supertramp. Dans une entrevue datant de 1972, O'Sullivan confia que Davies lui apprit à jouer du piano et de la batterie. Puis il joua avec d'autres formations semi-professionnelles, dont les Doodles et les Prefects. Alors qu'il est toujours au College de Swindon, il commence à écrire des chansons et à envoyer des démos à des maisons de disques, malheureusement celles-ci lui reviennent toutes sans même avoir été entendues. L'une des chansons qu'il a écrites s'intitule Ready Miss Steady.
Après avoir fini le collège, il déménage à Londres en 1967 avec la volonté de faire carrière dans la musique. Il se trouve ainsi un emploi à temps partiel en tant que vendeur dans un magasin sur Oxford Street. C'est à cette époque qu'il fait la connaissance de Micheal Ward qui est justement sous contrat avec CBS Disques, et un jour il se rend avec son nouvel ami afin de rencontrer un responsable et lui faire entendre ses démos.
Il signe ainsi un contrat de cinq ans avec CBS qui inclut un single par année, et il sort ainsi deux premières chansons, Disappear/You en 1967 puis What can I do/You en 1968. Mais il est déçu puisqu'on ne lui permet pas de faire quelque arrangement que ce soit sur ses chansons, qu'aucun de ses singles ne se vend bien et qu'il ne connait aucun nouveau développement dans sa carrière naissante. Mais un groupe aussi en contrat avec la même maison de disques, The Tremoloes, enregistre alors sa chanson You pour leur album Here Come The Tremoloes et son autre chanson Come on Home pour leur album Alan, Dave, Rick & Chip en 1967.
Déçu par son contrat avec CBS, O'Sullivan signe alors avec le label Major Minor et sort alors le single I Wish I Could Cry/Mr Moody's Garden en 1969. Il attire l'attention du disc-jockey numéro 1 de la BBC Radio One, John Peel qui lui donnera alors du temps d'antenne sur les ondes en faisant jouer ses chansons à la radio, mais cela ne débouche sur rien, et le chanteur commence alors à frapper aux portes des maisons de disques pour la majeure partie de l'année 1969. Alors qu'il se cherche un gérant, il envoie des démos à Gordon Mills, un ex-chanteur qui écrit lui aussi des chansons et qui a connu le succès en dirigeant les carrières de grandes stars britanniques comme Tom Jones et Englebert Humperdinck. Mills verra alors le potentiel et le talent de O'Sullivan et, devenu son agent, il lui dénichera alors un contrat important.
Le chanteur fera alors grande impression avec sa chanson Nothing Rhymed, son premier succès dans le top 10, il commence à être reconnu comme chanteur/auteur compositeur enfin. Ayant signé avec les disques MAM Records, le label de Gordon Mills son gérant, qui agissait aussi en tant que producteur et frère de substitut, O'Sullivan connait un succès grandissant les quatre années suivantes. Des albums comme Himself (1971), Back to Front (1972), I'm a Writer, not a Fighter (1973) et A Stranger in My Own Back Yard (1974), ainsi qu'une douzaine de singles, dont dix se retrouveront parmi le top 10. Il fera aussi une première apparition dans l'émission à succès Top of the Pops, et enregistrera un concert pour la BBC en .
En 1972, il fera l'objet d'un documentaire pour la BBC intitulé Sounding Out qui nous montre l'artiste en plein travail de composition, on le voit qui chante en s'accompagnant au piano, puis il y raconte comment il compose, etc. Les chansons Clair (écrite en s'inspirant de la fille de son gérant Gordon Mills) et Get Down furent des succès numéro un en Angleterre et, de plus, l'album Back to Front se retrouva au numéro un des palmarès anglais, rejoignant ainsi le succès de son hit Alone Again (Naturally), qui se vend alors à plus de deux millions d'exemplaires.
En , Gilbert fait ses débuts en tant qu'artiste « live » au National Stadium de Dublin, la BBC enregistre alors sa prestation, où il est accompagné du Johnnie Spence Orchestra, sous le titre « The Music of Gilbert O'Sullivan ». En 1973, il est nommé l'auteur/compositeur de l'année dans le cadre du 18e Ivor Novello Awards. Et en avril, il entame une tournée de 18 concerts par un spectacle au Royal Festival Hall de Londres. En septembre, on le voit alors en tournée aux États-Unis, puis il termine cette année fructueuse par un grand concert à guichets fermés au London Palladium. Il célèbrera la nouvelle année 1974 par une deuxième nomination aux Ivor Novello Awards, cette fois-ci pour la « Meilleure chanson de l'année » avec Get Down.
Mais aussi vite son étoile a-t-elle grimpé au firmament du succès, aussi vite commence-t-elle à chuter, car même si ses chansons Ooh Baby et Hapiness Is Me and You ont été des succès, elles se vendent mal et après cette année 1973, sa popularité commence à décliner.
