En 1814, il eut le courage de refuser d’adhérer à la déchéance de l’Empire, s’exila en Angleterre mais se remit au service de Napoléon lors des Cent-Jours. Après la bataille de Waterloo, resté fidèle à Napoléon, assurant son service de chambellan et sollicitant l'honneur de partager les épreuves de l'exil, il l'accompagna, avec son fils aîné, du départ de la Malmaison jusqu'à Rochefort, l’incitant à se rendre aux Britanniques. Tojours avec son fils aîné, il le suivit jusqu’à Sainte-Hélène et joua de façon informelle un rôle de secrétaire particulier, prenant différentes notes de leurs conversations, qu'il mit ensuite en ordre dans un livre qui eut un immense succès, le Mémorial de Sainte-Hélène (1823) qui contribua largement à la gloire posthume de l’Empereur et à sa légende.
Il quitta Sainte-Hélène en novembre 1816 mais n’obtint l’autorisation de résider à Paris qu’à la mort de son maître.
Affirmant haut et fort ses sentiments bonapartistes, il fut député de la Seine (1831-1834 et 1839 jusqu’à sa mort. Il fut inhumé au cimetière de Passy, où il résidait, village alors non rattaché à la capitale.