Mais où a-t-on vu qu’on faisait plier l'Empereur ? L’annexion eut lieu et Decazes revint à Paris en 1810, doté d’une place de conseiller à la cour impériale de Paris et repartit à l’assaut en utilisant cette fois Pauline Bonaparte et Madame Mère. A la chute de l’Empire, il abandonna les Bonaparte déchus pour se rallier aux Bourbons auxquels il resta fidèle pendant les Cents-Jours.
Nommé préfet de Police grâce à Talleyrand, il séduisit Louis XVIII, et se fit nommer ministre de la Police.
Après la démission du duc de Richelieu en 1818, il prit la direction effective du gouvernement Dessolles. Son premier acte fut de supprimer le ministère de la Police qu’il considérait incompatible avec un régime libéral. Malgré la vive hostilité de la Chambre des pairs, où les ultras étaient majoritaires, Decazes brisa leur avantage en obtenant du roi la création d’une fournée de soixante pairs constitutionnels. Mais les ultras n’avaient pas désarmé et guettaient la bonne occasion pour le faire renvoyer. A peine créé duc Decazes, alors que soutenu par la confiance et l’affection toute paternelle de Louis XVIII son travail commençait à porter ses fruits amenant prospérité au pays et popularité au gouvernement, le duc de Berry fut assassiné. Rendu responsable de cette mort, grâce aux conseils de ses amis et du roi, Decazes, échappant aux représailles qui s’annonçaient, se réfugia dans sa maison du Gibeau près de Lagrave d’où il continua à entretenir une correspondance avec le roi à qui son absence pesait lourdement. Une fois son interdit levé, il se rendit à Londres comme ambassadeur auprès de la Cour du roi George où il resta jusqu’à ce que l’état de santé de sa femme l’obligeât à rentrer en France.
Son ambition dévorante, qui lui avait fait brûler toutes les étapes, ne retire rien à sa réputation d’homme sensible et bon, résolu et courageux dans l’adversité. Il tourna toute son énergie vers l’industrie en fondant, avec sa fortune personnelle, une société pour développer le centre métallurgique dans l’Aveyron, les forges de Decazeville qui prit son nom en 1829.
Après 1830, il adhéra à la monarchie de Juillet. Il quitta les affaires et la vie politique à partir de 1848 et regagna son sud-ouest natal.
Par l’ascendance maternelle de sa seconde épouse, il avait été titré duc de Glücksberg.
Un jour de l’automne 1860, alors qu’il montait dans un train à Saint-Pierre-des-Corps près de Tours, il glissa du marchepied et tomba. Incident en apparence bénin mais qui deux jours plus tard l’emportait dans la tombe. Après les obsèques, sa dépouille fut rapatriée sur la terre de Gironde qui l’avait vu grandir.
Elie Decazes fut inhumé dans le petit cimetière de Bonzac. Sa tombe, et celles de siens, est entourée d’une grille formant un enclos.