Dès lors, il devint l’héritier légitime au trône de France sous le nom d’« Henri V » et prit le titre de courtoisie de comte de Chambord, du nom du château qui lui avait été offert par les royalistes à son baptême.
Reconnu par ses partisans, les légitimistes, en 1832, la duchesse de Berry s’acharna à faire reconnaître la légitimité de son fils à la place de celui qu'elle estimait l’usurpateur de la branche des Orléans, Louis-Philippe. Ce fut en vain. En 1848, à la chute de Louis-Philippe, succéda le règne de Napoléon III sans que la réconciliation entre Orléans et Bourbons ne puisse se réaliser. Mais les espoirs d’un avènement pour le comte de Chambord restaient réels. La maison de France reposant depuis tant d’années sur ses épaules, de son long exil, il prenait sa mission très à cœur et suivait de près la politique française. Prince ancré dans la réalité, à partir de 1862, il fit connaître ses positions par des manifestes adressés aux Français, expliquant sa doctrine et élaborant son projet politique en appelant de ses vœux une monarchie qui réaliserait « l'alliance si désirée d'une autorité forte et d'une sage liberté ». Il préconisait une décentralisation administrative et politique, se penchait aussi sur la question sociale, etc.
En 1870, à la chute du Second Empire, il réapparut sur la scène politique française. Le 8 juin 1871, l'Assemblée abolit les lois bannissant du pays les Bourbons et, en juillet, pour la première fois depuis 1830, le comte de Chambord retrouvait la France.
N’ayant pas d’enfant son héritier serait un Orléans ce qui signifiait la réconciliation entre légitimistes et orléanistes.
En pleine guerre avec l’Allemagne, le trône était à sa portée, il lui restait à adopter le drapeau tricolore…Et là, sur ce qui peut nous sembler comme un détail à accepter après tant d’attente pour régner, il refusa ! En mai 1871, il s’était déjà exprimé sur le sujet et le 6 juillet 1871, reparti hors de nos frontières, il enfonçait le clou:
« Dieu aidant, nous fonderons ensemble, et quand vous le voudrez, sur les larges assises de la décentralisation administrative et des franchises locales, un gouvernement conforme aux besoins du pays. (...)
[La France] m'appellera, et je reviendrai à elle tout entier, avec mon dévouement, mon principe et mon drapeau. A l'occasion de ce drapeau, on m'a parlé de conditions que je ne dois [veux] pas subir.
Français! (...) Entre vous et moi, il ne doit subsister ni malentendu, ni arrière-pensée. Non, je ne laisserai pas, parce que l'ignorance ou la crédulité auront parlé de privilèges, d'absolutisme et d'intolérance, que sais-je encore? de dîme, de droits féodaux, fantômes que la plus mauvaise foi essaie de ressusciter à vos yeux, je ne laisserai pas arracher de mes mains l'étendard de Henri IV, de François Ier et de Jeanne d'Arc. C'est avec lui que s'est faite l'unité nationale; c'est avec lui que vos pères, conduits par les miens, ont conquis cette Alsace et cette Lorraine dont la fidélité sera la consolation de nos malheurs. (...) Je l'ai reçu comme un dépôt sacré du vieux roi, mon aïeul, mourant en exil; il a pour moi toujours été inséparable du souvenir de la patrie absente; il a flotté sur mon berceau, je veux qu'il ombrage ma tombe. Dans les plis glorieux de cet étendard sans tache, je vous apporterai l'ordre et la liberté. Français, Henri V ne peut abandonner le drapeau blanc d’Henri IV! »
Malgré tout, les circonstances politiques pouvaient encore porter une Restauration. En attendant, les royalistes confortèrent Adolphe Thiers dans sa position de chef de Gouvernement qui opta pour le titre de « Président de la République ». Remplacé par Mac-Mahon, favorable à la restauration de la royauté, jusqu’en octobre 1873, l’accession au trône semblait pouvoir aboutir. Certains journaux allèrent jusqu'à dire que le comte de Chambord s'était définitivement rallié au tricolore, ce que celui-ci s'empressa de démentir. Erreur dont il eut conscience mais qu’il ne put rattraper. Trop tard ! Ne pouvant plus espérer obtenir une majorité, la commission qui préparait la restauration de la monarchie mit fin à ses travaux le 31 octobre.
Le 20 novembre, l’Assemblée vota le mandat présidentiel de sept ans prolongeant ainsi la présidence de Mac-Mahon et permettant aux monarchistes de disposer d’un délai suffisamment long pour attendre la mort du comte de Chambord et permettre l’accession au trône du comte de Paris.
Ce qui n’était que conjoncturel dura jusqu’en…2000.
De Frohsdorf, où il résidait depius des années, le comte de Chambord assista à la montée républicaine et à l’institution officielle de la république en 1875. A cause de son drapeau du sabordage, Henri V ne régna jamais et s’en était bel et bien fini de la royauté.
Victime d'une maladie des voies digestives, le comte de Chambord décéda en sa résidence de Frohsdorf. Avec lui disparaissait la branche aînée des Bourbon. A défaut d'une tombe en la basilique Saint-Denis, il fut inhumé auprès des membres de sa famille morts en exil, dont sa femme, Marie-Thérèse-Béatrix-Gaëtane de Habsbourg-Lorraine, archiduchesse d'Autriche et princesse de Modène (1817 - 1886).