Mais un jour, il commit une erreur fatale. Il fit arrêter 132 notables nantais, dont il souhaitait s'adjuger la fortune, et demanda leur transfert à Paris.
Emprisonnés, alors que Carrier avait finalement ordonné de les faire disparaître, les Nantais arrivèrent sains et saufs à Paris où ils furent jugés et... acquittés.
Rappelé à Paris, malgré la pression et l’indignation publique, il siégea encore en Thermidor à la Convention toujours sans être inquiété.
Il ne fallut pas moins d’une quadruple épreuve, de l’avis de trois comités, d’un rapport d’une commission de vingt-et-un membres et de deux débats contradictoires pour qu’il soit arraché à son siège de législateur.
Ne l’oublions pas, la Convention nationale avait été la complice de ce scélérat de la pire espèce qui avait déshonoré le régime. Ceux qui avaient applaudi et encouragé ses méthodes étaient morts depuis quelques mois.
A son procès, qui dura du 7 au 25 Frimaire An III (27 novembre au 15 décembre 1794), malgré les témoignages et les évidences, il nia en bloc.
Quand on lui donna lecture de ses propres arrêtés, il s’efforça de produire des explications favorables. Ce fut en vain.
Ses biens confisqués au profit de la République, Jean-Baptiste Carrier monta à l’échafaud place de Grève suivi de Michel Moreau et de Jean Pinard, tous deux convaincus de complicité.
Comme un juste point final aux massacres de cette époque sanglante, ils en furent les derniers guillotinés.
Malgré sa "célébrité", il est très difficile de trouver un document concernant son lieu d'inhumation. Toutefois, sachant que toutes les 176 personnes guillotinées entre fin juillet 1794 et mai 1795 furent ensevelies au cimetière des Errancis, (Fouquier-Tinville exécuté l'un des derniers, place de Grève, le 7 mai 1795 y fut inhumé), il n'y a aucune raison pour que Carrier ait été enseveli ailleurs. Quoiqu'il en soit, la tombe de ce monstre a disparu depuis bien longtemps.