Mais, beaucoup plus grave, il eut en charge l’enlèvement duc d’Enghien et son exécution (1804) ce qui lui valut le grade de général de division. Aide de camp de l’Empereur durant les campagnes de 1805 à 1807, il sut aussi se couvrir de gloire en chargeant à à Ostrolenka (1807) et à Friedland (1807).
Essayé dans la diplomatie, il fut un piètre ambassadeur en Russie où l'homme-qui-a-fusillé-l'infortuné-duc-d'Enghien n'essuya que des affronts à la cour du tsar et dut vite céder la place à Caulaincourt.
Fait duc de Rovigo (1808), commandant de l’armée française en Espagne à la place de Murat, il eut juste le temps d’être le témoin du premier échec important des armées napoléoniennes. Ne lui tenant pas rigueur de ce désastre, Napoléon finit par lui confier, en remplacement de Fouché, le ministère de la Police (1810), nomination qui atterra l’opinion publique. Méticuleux et soupçonneux, il fit peser sur Paris une chape de plomb qui, aux yeux de tous, l’identifia de plus en plus à un personnage odieux.
Mais son zèle ne l’empêcha pas d’être incapable de prévoir et d’enrayer la conspiration de Malet en 1812. Arrêté au pied de son lit par les conjurés, qui avaient réussi à pénétrer sans difficulté au ministère de la Police, puis libéré mais ridiculisé et humilié, cet épisode lui fit perdre beaucoup de sa crédibilité. Néanmoins, Napoléon, qui avait d’autres chats à fouetter, le fit entrer au Conseil de régence en 1814.
Inspecteur de gendarmerie durant les Cent-Jours, il tenta de suivre l’Empereur en exil en montant avec lui sur le Bellerophon. Les Anglais refusant sa demande d’accompagnement, il fut conduit à Malte d’où il s’échappa.
Après de mauvaises affaires à Smyrne et un périple par Londres et Hambourg, il finit par se livrer à Paris où il avait été condamné à mort par contumace en 1816. Acquitté par le Conseil de guerre en 1819, rétabli dans ses titres et dignités, mais pas dans ses fonctions, il fut mis à la retraite (1823).
Installé à Rome après avoir fait paraître avec succès Mémoires du duc de Rovigo pour servir à l'histoire de l'empereur Napoléon, il ne revint en France qu’après la révolution de 1830. Louis-Philippe lui confia alors le commandement en chef du corps d’occupation de l’Algérie où il se signala une dernière fois par ses…maladresses. Tombé malade au début de l'année 1833, il mourut trois mois après son rapatriement en France.
Savary fut inhumé au cimetière du Père-Lachaise. Bien loin du style mausolée érigé à des gloires napoléoniennes, sa tombe, pourtant en bordure de division, est d’une telle discrétion que le visiteur peut peiner à la trouver.