Bonaparte, qui le tenait en grande estime, l’amnistia et il entra au Tribunat puis au Sénat en 1804 et fut fait comte d’Empire en 1808, ce qui ne l’empêcha pas de souscrire à la déchéance de Napoléon Ier en 1814. Allez savoir ce que le personnage pensait vraiment, au gré des opportunités ! Fait pair de France par Louis XVIII, il se rallia à l’empereur lors des Cents-Jours avant d’être réintégrer dans la pairie par le roi qui savait que Boissy d’Anglas avait toujours été royaliste de cœur.
Quoi qu’on puisse en penser, son rôle de pacificateur lors de la Terreur blanche de 1815 fut indéniable. De souche protestante, il défendit les huguenots en but aux manifestations catholiques. D’ailleurs, vice-président de la Société biblique, il fut membre du Consistoire de l'Église réformée de France de 1803 à sa mort.
Contrairement à une erreur largement répandue, Boissy d'Anglas ne fut inhumé pas au cimetière du Père-Lachaise mais à celui d'Annonay où il fut transporté de suite. La tombe dans la nécropole parisienne est celle de sa fille Suzanne Henriette (1779-1851), veuve du dénommé André-Marie Lebeuf.