Très en cour auprès de Louis XVIII puis de Charles X, il fut élu à l'Académie française en 1824, élection qu'il attribua avec humilité, dans son discours de réception, à la religion et non à ses titres académiques qui étaient en effet fort réduits. Membre de la Chambre des Pairs, il s'opposa, au nom des classes moyennes, à la conversion de la dette nationale.
En bénissant la première pierre de la chapelle expiatoire, érigée sur le lieu de sépulture de Louis XVI, il demanda en vain l'amnistie des conventionnels exilés. Il s'opposa également à l'ordonnance de 1828 expulsant les Jésuites. Pétri d'esprit d'Ancien Régime, il et lâcha dans un sermon cette célèbre formule, qui scandalisa libéraux et républicains :
"Non seulement Notre Seigneur Jésus Christ était le fils de Dieu mais il était par sa mère d'une excellente famille" ...
Pendant la révolution de 1830, il fut par deux fois contraint de quitter son palais archiépiscopal et dut subir de virulentes calomnies. Sous la monarchie de Juillet, bien qu’il n’eût pas été partisan des ordonnances de juillet 1830 et eût fait des avances au nouveau régime, il resta suspect de légitimisme aux yeux de Louis-Philippe. Dès lors, sous la monarchie de Juillet, il se borna à participer à quelques cérémonies officielles.
Pour le reste, il s'en tint à ses devoirs pastoraux, effectuant de nombreuses visites paroissiales, veillant à l'instruction religieuse des conscrits et organisant le clergé métropolitain. Il se signala particulièrement par sa conduite noble durant la terrible épidémie de choléra de 1832 : il transforma les séminaires en hôpitaux, s'occupa personnellement des malades de l'Hôtel-Dieu, et fonda l'Œuvre des orphelins du choléra.
En 1831, il se signala également par la dureté dont il fit preuve à l'égard de l'abbé Henri Grégoire en ordonnant à son clergé que lui soient refusés les derniers sacrements ainsi que des funérailles religieuses, ce dernier ayant refusé de renoncer au serment qu’il avait prêté à la Constitution civile du clergé. En revanche, il accompagna la comédienne Mlle Duchesnois dans ses derniers instants.
Monseigneur de Quélen fut inhumé dans la crypte réservée aux archevêques. Un monument à sa mémoire, visible en la chapelle Saint-Marcel, fut érigé par Adolphe-Victor Geoffroy-Dechaume (1816 – 1892).