Pavens afhængighed af kejseren blev mindre og mindre, fordi der opstod uenighed mellem ham og sønnerne, de senere Lothar 1., Pepin og Ludvig 2. Ved sønnernes oprør mod deres far støttede paven dem og håbede, at hans indblanding ville fremme chancen for fred. Men i stedet førte det til gnidninger mellem de frankiskebiskopper og paven. Pavens modsvar var at insistere på, at han var Sankt Peters efterfølger og derfor suveræn overfor kejseren.
En hær fra kejseren og en fra hans sønner mødtes ved Rotfeld ved Colma i sommeren 833. Sønnerne overtalte Gregor 4. til at forhandle med deres far, men paven var blevet narret af Lothar. Ludvig var forladt af sine støtter og måtte overgive sig ydmyget og betingelsesløst. Det er kendt som "Campus Mendacii" (Løgnens slagmark).
Efter overgivelsen blev Ludvig genindsat. Efter hans død prøvede Gregor at mægle i den konflikt, der truede kejserens sønner.
