Les caisses étaient vides et il n’avait qu’aggraver la crise financière. Loménie était si impopulaire que lorsqu’éclata une épidémie on l’appela la Brienne…
Le 24 août 1788, il démissionna au profit de Necker à la plus grande joie du peuple qui brûla un mannequin à son effigie. Néanmoins, avant de quitter la place, il avait obtenu de la reine la promesse d’un chapeau cardinalice, d’une place d’honneur pour une nièce et le titre de coadjuteur pour son neveu à la mode de Bretagne, Martial. A contrecœur, pour satisfaire Louis XVI, le pape Pie VI le nomma cardinal. Il partit deux ans en Italie.
De retour en France, il prêta serment à la Constitution civile du clergé. Déchu officiellement de sa dignité par le Vatican, Loménie devint le « cardinal de l’ignominie », celui qui avait les portes à la Révolution. Mais déjà, avant 1789, ne le surnommait-on pas l’Antimoine ?
Devenu évêque constitutionnel de l’Yonne, il prit possession de son évêché de Sens.
Profitant de la vente des biens nationaux, Loménie avait acheté l’abbaye St-Pierre-le-Vif dont il avait fait raser l’église. Quittant le palais de l’archevêché (actuels Musées de Sens), il s’installa dans son nouveau domaine qui devint, en novembre 1793, sa prison. En résidence très surveillée, il y mourut trois mois plus tard.
Sa disparition foudroyante frappa tellement les esprits qu’on parla d’un empoisonnement volontaire de l’évêque pour échapper à la guillotine. Malade, affaibli, maltraité, surveillé nuit et jour, il trépassa probablement d’une crise foudroyante d’apoplexie qui lui évita l’échafaud.
Il fut inhumé, sans service religieux, dans un cercueil de bois devant la porte ouest de la basilique Saint-Savinien alors interdite au culte. Chacun sous la garde d’un soldat, ses neveux avaient obtenu la faveur d’accompagner sa dépouille à sa tombe.
Au 19ème siècle, une petite pierre tombale fut posée rappelant sa présence.
En 1943, des fouilles archéologiques permirent de découvrir son squelette, pieds à l’ouest et tête à l’est comme il se doit pour un évêque. D’autres ossements furent également retrouvés dont l’origine est attribuée au cimetière de l’église. On plaça ses restes dans une caisse qu’on ré-inhuma au même endroit et où ils se trouvent toujours.
Ainsi le dernier archevêque de Sens de l’Ancien Régime repose-t-il sur le seuil de la basilique fondée par saint Savinien, premier évêque de la ville.
Son frère, Louis-Marie-Athanase de Loménie, comte de Brienne (1730 – 1794), secrétaire d'État à la Guerre, fut guillotiné le 10 mai 1794 avec Mme Elisabeth et inhumé au cimetière des Errancis.