Au procès de Danton, qu’il appelait le « turbot farci », c'est lui qui fit en sorte que le tribun se retrouvât hors des débats après avoir été l'un des artisans de sa chute.
A l'échafaud le "turbot"!
Chaumette et les veuves Desmoulins et Hébert et d’autres le dérangeaient-il qu’il inventa le complot des prisons.
A l’échafaud les soi-disant fomenteurs !
Robespierre souhaitait-il remettre de l’ordre dans les excès commis par certains représentants du Comité de sureté générale qu’il se retrouva promptement ridiculisé et discrédité avec l’affaire « Théot » qui participa sa chute. A l'échafaud l'Incorruptible !
Condamné à la déportation après Thermidor, Vadier réussit à s’enfuir, mais fut rattrapé et emprisonné pour, cette fois, compromission dans la conspiration de Babeuf. Amnistié sous Bonaparte, il finit ses jours à Bruxelles où il s’était exilé après avoir été proscrit comme régicide sous la Restauration.
Il fut d'abord inhumé au cimetière Evere de Bruxelles.
En 1990, Maître Gilles Dussert, propriétaire du château et domaine de Peyroutet qui appartint à Vadier, publia une biographie dans laquelle il déployait tout son talent pour dédouaner le « grand inquisiteur » et demandait le rapatriement de son corps de Bruxelles à Peyroutet.
Des têtes, Vadier en avait fait aussi tomber en Ariège, département qu'il avait lui-même créé. Cela n'empêcha pas le retour de ses restes au pays. La Belgique, en échange du refus du transfert des restes du peintre David, accepta le transfert de ceux de Vadier au manoir de Peyroutet, son ancien domaine, où ils furent entreposés dans la chapelle privative de la propriété.
Sa femme, qui ne l'avait pas suivi en exil, fut inhumée au cimetière de Montaut. Dans la même tombe, reposent sa fille et son gendre qui fut sous-préfet de l'Ariège.