Gazzoli stammte aus einer Patrizierfamilie, er war der Sohn des Grafen Filippo Gazzoli und dessen Ehefrau Ersilia Fabrizi. Der Kardinal Luigi Gazzoli war sein Onkel.
Ludovico Gazzoli begann seine Ausbildung am Seminar von Frascati und studierte an der Universität Perugia, wo er den akademischen Grad eines Doctor iuris utriusque erreichte. Danach empfing er die niederen Weihen und begann, für die päpstliche Verwaltung zu arbeiten. Ab dem 3. Juni 1802 war er Referendar an den Gerichtshöfen der Apostolischen Signatur, diente als Gouverneur verschiedener Städte im Kirchenstaat sowie als Apostolischer Delegat.
.jpg)