Présent à Marengo, il assista à la mort de Desaix et devint aide de camp du Premier consul, fonction qu’il occupa jusqu’en 1814. A ce titre, il fut chargé de nombreuses missions délicates en Vendée, Suisse et Belgique.
Général de brigade, à la tête de ses mamelouks, il chargea à Austerlitz. Le bras fracassé à Iéna -il échappa de peu à l’amputation- il mit en déroute la garde impériale de la cavalerie russe et fut l’un des premiers à pénétrer dans Weimar.
Gouverneur de Thorn puis de Dantzig, fait comte d’Empire (1809), la même année à Essling, il redressa la situation à la tête des fusiliers de la garde. Revenu à Paris en 1810, à l’époque du divorce de Napoléon et de Joséphine, Rapp ne craignit pas de blâmer la conduite de son maître, et reçut, en récompense de sa franchise, l’ordre de retourner dans son gouvernement de Dantzig. Il n’en fut pas moins créé grand officier de la Légion d'honneur. Il donna toutefois une nouvelle preuve de sa sincérité à l’Empereur en condamnant l’expédition projetée au-delà du Niémen, dont il prévoyait les funestes résultats.
Durant la campagne de Russie, il fut touché de plusieurs coups de feu à la Moskova. En combattant en arrière-garde aux côtés de Michel Ney, il concourut à sauver l’artillerie française qui se trouvait compromise sur ce point, et y reçut sa vingt-quatrième blessure. Envoyé par Napoléon prendre le commandement de Dantzig, où il devait soutenir pendant près d’un an un des sièges les plus mémorables inscrits dans les annales, il ne capitula que pour sauver le reste des braves qui l’avait si bien secondé.
Il était en Ukraine quand l’Empereur fut conduit à l’île d’Elbe. A son retour à Paris, Louis XVIII l’accueillit avec distinction en le faisant chevalier de l’Ordre de Saint-Louis. Rallié à son ancien maître lors des Cent-Jours, élu par le Haut-Rhin à la Chambre des représentants, il fut chargé de défendre l’Alsace contre les envahisseurs.
Tenu un temps à l’écart après Waterloo, menacé par les royalistes, il se retira en Suisse, à Argovie, où il acheta le château de Wildenstein. Finalement, Louis XVIII le rappela, le nomma pair de France (1819) -il l'avait déjà été créé par Napoléon- et en fit son premier chambellan et maître de la garde-robe.
Epuisé par les fatigues de la guerre et ses nombreuses blessures, Jean Rapp ne survécut pas longtemps à Napoléon. Il mourut à Rheinweiler (Allemagne), probablement d’un cancer à l’estomac, où il avait acheté le château familial de sa seconde femme épousée en 1816.
Ramené à Colmar, sa ville natale, tandis que son cœur était déposé dans l'église protestante Saint-Matthieu qu’il fréquentait enfant, il fut inhumé dans le cimetière du Ladhof. Son nom est inscrit sur l’arc de triomphe de l’Etoile.
Sur le soubassement de son tombeau à l’antique des couronnes de laurier en relief entourent le nom des principales batailles auxquelles il participa et où il se distingua particulièrement.
Dans une tombe près de lui, repose son fils Maximilien Charles Théodore Rapp (1816-1828)