Après le décès de l'archevêque Sigismund en 1771, Colloredo était un candidat à la succession. Toutefois, sa nomination s'est heurtée à une forte opposition, en particulier de la part de l'électeur Maximilien III Joseph de Bavière. Ce n'est qu'après plusieurs tours, qu'il est entré en fonctions le .
Colloredo était un réformateur au sens des Lumières, il était proche du jansénisme. Il supprima plusieurs couvents et fraternités et également interdit des mystères, des crèches de Noël et la tenue des coutumes païennes, tels que le Samson ou des fêtes du changement de soleil; cela le rendit impopulaire face au peuple dans l'archevêché de Salzbourg.
Son esprit progressiste incita beaucoup d'universitaires, d'écrivains et de musiciens à se rendre à Salzbourg; le prince-archevêque a hautement apprécié les travaux de Michael Haydn et de Leopold Mozart et il était lui-même un violoniste doué. Il autorisa Leopold à entamer un tour d'Europe pour présenter son fils prodige aux différentes cours. Wolfgang Amadeus dédia son Concerto pour piano no 8 à la nièce de l'archevêque, la comtesse Antonia Lützow. Colloredo était cependant extrêmement gêné par les fréquentes absences des Mozart. De retour à Salzbourg après un voyage à Munich en 1781, Mozart doit suivre son employeur à Vienne, où l'archevêque le traite publiquement de « voyou » et de « crétin » avant de le congédier avec ces mots : « Mag er geh'n, ich brauch' ihn nicht ! » (« Qu'il parte, je n'ai pas besoin de lui ! »).
En 1806, l'archevêque accorde des obsèques solennelles à Michael Haydn. Il meurt six ans plus tard en exil à Vienne, âgé de 79 ans.
Fiction
Le prince-archevêque Colloredo figure dans le film Amadeus, réalisé par Miloš Forman et sorti en 1984. Dans le film, il est interprété par l'acteur américain Nicholas Kepros. Cependant, cette adaptation cinématographique d'une pièce de théâtre, Amadeus de Peter Shaffer jouée pour la première fois en 1979, contient de nombreuses imprécisions historiques.
Dans le spectacle musical Mozart! l'archevêque tient un rôle prépondérant dans l'intrigue. Il sert d'antagoniste à Wolfgang Amadeus (dans la chanson Wo ist Mozart? [Où est Mozart ?] il chante la citation Mag er geh’n, ich brauch' ihn nicht!) mais à la fin de la comédie musicale il se rend compte que Mozart et sa musique enchantée triomphent (sa chanson Wie kann es möglich sein? nous raconte qu'il est un homme profond et religieux, qu'il dépendit toute sa vie de Dieu et de la logique, mais que Mozart, un jeune compositeur et musicien impétueux, est finalement victorieux. « Wie kann es möglich sein, dass die Vernunft, die diese Welt erhellen soll, besiegt wird vom Zauber der Musik? » (« Comment est-il possible que la logique qui est supposée illuminer ce monde soit vaincue par la magie de la musique ? »).