Quand à la tribune « l’Incorruptible » réclama la punition des traîtres et l’épuration du Comité, Billaud-Varenne somma Robespierre de citer les têtes réclamées. C’était le 8 thermidor an II.
La conduite passée du personnage n’en fut pas effacée pour autant. L’insurrection populaire du 12 germinal (1er avril) précipitant les évènements, Billaud-Varenne, avec d’autres accusés dont Collot d’Herbois, fut déporté sans jugement en Guyane.
Qu’il fut long le chemin qui le mena à la déportation. Déjà à Paris, la foule hurlait sur son passage : « A mort, le monstre ! A la guillotine ! ». Malgré l’escorte qui défendait sa berline, on dut attendre la nuit pour prendre discrètement la route de La Rochelle, sa ville natale, d’où partaient les bagnards. Chaque étape lui apporta son lot d’émeutes, de jets de pierre et d’ordures. Le 12 avril, il arriva à La Rochelle puis embarqua.
Arrivé à Cayenne, il fut mis au cachot vingt heures par jour. Malade et quasi mourant, on le transporta dans un hôpital militaire d’où il sortit guéri. Soupçonné de participer à une rébellion d’anciens esclaves noirs, il fut relégué au fort de Sinnamary. Plus résistant que son acolyte Collot d’Herbois, il survécut.
Quand Bonaparte prit des mesures d’amnistie, Billaud-Varenne, ne reconnaissant pas le gouvernement consulaire, refusa la grâce et s’installa à Cayenne où il resta jusqu’en 1816. A cette époque, les aléas de l’histoire rendirent l’île à la France. Billaud-Varenne craignant sans doute les réactions de la Restauration vendit son domaine et s’embarqua pour New-York avant de s’installer à Haïti.
Atteint d’une dysenterie chronique, il dépérit rapidement. On le transporta chez un ami à la campagne où il mourut bien délaissé sauf de sa négresse Brigitte avec laquelle il avait vécu dix-huit ans.
On lui prête comme dernières paroles ces mots pour le moins hallucinants : « Mes ossements, du moins, reposent sur une terre qui veut la liberté, mais j’entends la voix de la postérité qui m’accuse d’avoir trop ménagé le sang des tyrans de l’Europe ». La postérité s’excuse pour son extinction de voix !
Billaud-Varenne fut inhumé au cimetière intérieur Sainte-Anne de Port-au-Prince. Sa tombe, disparue, se trouvait à l'angle nord-ouest du cimetière, sous l'emplacement de l'actuelle église Ste-Anne dont les travaux débutèrent en 1877.