Sur le terrain politique cela se traduisit par deux groupes :
- le bonapartisme "rouge" des jérômistes ou plébiscitaires, à vocation populaire et démocratique, plus proche de la gauche républicaine et anticléricale,
- le bonapartisme "blanc" des victoriens ou impérialistes, soutenu par les notables et les députés du parti, plus proche de la droite royaliste et cléricale.
N’appréciant pas d’être mis au placard avant l’heure au profit de son fils, Plon-Plon et Victor en arrivèrent à une rupture définitive en 1884.
Malgré ses soutiens, Victor refusa tout rôle politique se contentant de soutenir officiellement mais discrètement les impérialistes qui en attendaient davantage. Le 22 juin 1886, la République vota définitivement une loi d'exil contre les familles ayant régné en France et Victor partit pour Bruxelles.
Dès juillet, Victor assumait enfin pleinement son rôle de chef des impérialistes et se posait comme prétendant. Mais, entre l’indépendance prise par les dirigeants du mouvement impérialiste, la montée en puissance de celui du général Boulanger et la troisième République, il était trop tard. Napoléon V ne régna pas. Il se concentra sur une œuvre le passionnant : entretenir et développer la légende napoléonienne. Il entreprit la constitution d'une collection napoléonienne incomparable et fit de nombreuses donations à l’Etat.
Frappé d'une attaque d'apoplexie, il mourut quelques jours plus tard à Bruxelles. Après un service religieux dans la cathédrale Saint-Michel, Victor-Napoléon prit le chemin de la basilique Superga, nécropole de la Maison de Savoie, où reposait ses parent (sa mère Clotilde de Savoie, était la fille de Victor-Emmanuel II). Il fut transféré par la suite à Ajaccio.