Revenu en France, son rôle en Brumaire l’amena à une ambassade en Saxe et en Hesse, puis à la direction des Postes et du Cabinet noir. Position éminente prouvant la confiance de Napoléon, car il s’agissait du contrôle du bureau de lecture et de censure fournissant des rapports quotidiens sous le nom de « gazettes étrangères ». Conseiller d’Etat, comte de l’Empire, sa contribution active lors des Cent-Jours lui valut d’être condamné à mort à la seconde Restauration.
Après un moment d’espoir grâce aux démarches de sa femme, Emilie de La Valette (née Beauharnais, elle était la nièce par alliance de Joséphine), les arguments des ultras eurent raison de la mansuétude promise. Se refusant à admettre le sort prochain de son mari, la comtesse organisa son évasion. Le 20 décembre 1815, la veille de l’exécution, profitant d’une visite, avec leur fille, dans la cellule du condamné, ils échangèrent leurs vêtements et elle prit tout bonnement sa place ! Déguisé en femme, et accompagné de sa fille, il s’évada au nez à la barbe de ses geôliers. D’abord caché au ministère des Affaires étrangères, avec la complicité d’officiers anglais et vêtu d'un uniforme britannique, il gagna la Belgique, puis la Bavière où, sous la bienveillance d’Eugène de Beauharnais, il résida plusieurs années. Gracié en 1822, il put enfin retrouver les siens, et vécut dans une discrète retraite jusqu’à sa mort.