Elu député des Vosges en 1871, il conserva ce mandant jusqu’en 1889.
En 1873, de retour d’une ambassade à Athènes, il se distingua comme l’un des chefs de l’opposition républicaine avec Jules Grévy jusqu’à l’élection de ce dernier à la présidence. Nommé ministre de l’Instruction publique, c’est aux lois qu’il fit appliquer pour la défense de l’école laïque que son nom reste surtout attaché. On ne saurait toutes les citer mais parmi elles on se rappellera de la gratuité de l’enseignement primaire (1881), de la loi sur la laïcité du 28 mars 1882, de l’avènement de l’instruction civique à l’école, etc.
Président du Conseil (1880 et 1883), son combat pour son œuvre scolaire n’aura de cesse que d’aboutir.
En revanche, si sa vision d’un rayonnement de la France par l’expansion coloniale était soutenue par les idéalistes et progressistes, il s’aliéna les conservateurs comme Adolphe Thiers qui y voyaient le détournement d’investissements, et la gauche républicaine de Georges Clemenceau qui soutenait une attention sans faille sur la perte de l’Alsace et de la Lorraine : alors l’aventure coloniale… En mars 1885, dans les dernières semaines de la guerre franco-chinoise, l’affaire du Tonkin déclencha une tempête parlementaire, lui valut une vague d’impopularité et provoqua finalement sa chute le 30 mars. Lâché par les radicaux, il échoua lors de la désignation du Président de la République (1887).
En mai 2013, lorsque François Hollande, fraîchement élu, voulut rendre hommage à cette figure de l’histoire qu’il pensait rassembleuse, il n’imaginait pas déclencher les passions qui s’en suivirent : d’accord pour saluer le fondateur de l’école républicaine, mais certes pas celui qui déclara un jour que "les races supérieures (...) ont le devoir de civiliser les races inférieures". Plus d’un siècle après sa mort, l’apologue de la colonisation suscite encore la controverse…
Par deux fois, en 1883 et 1885, il échappa à des attentats. Sénateur des Vosges en 1891, puis président du Sénat le 24 février 1893, il mourut trois semaines plus tard victime d’une crise cardiaque.
Malgré ses revers politiques, il est considéré comme l’un des pères fondateurs de l’identité républicaine française.
Le gouvernement décida de l’honorer de funérailles nationales que refusèrent sa famille en rappelant que le gouvernement, et notamment Clemenceau, avait tout fait pour le discréditer. On passa outre.
Un catafalque lui fut dressé dans la cour d'Honneur du Palais du Luxembourg et son char funèbre reçut les honneurs des hommages de la foule parisienne.