Préfet du Nord (1872-1876), député Républicain, puis ministre de l’Instruction publique et des Cultes du gouvernement Gambetta, incarnant un anticléricalisme décidé (membre fondateur et vice-président jusqu'à sa mort de l'Union de propagande démocratique anticléricale), il fut l’un des grands piliers de toutes les réformes sur l’enseignement, notamment en le rendant gratuit et obligatoire dans des écoles laïques. Dans cette logique d’instruction à grande échelle nationale, il imposa, en 1879, la création d'au moins une École normale de garçons mais aussi de filles par département, pour la formation des « hussards noirs », surnom donné aux instituteurs publics de l’époque. Il publia L'Enseignement laïque (1881), suivi de plusieurs manuels primaires et secondaires sur les sciences physiques et naturelles, l’histoire, la géographie et le français. A la lecture de ces manuels, certains lui reprochent d’avoir présenté des thèses racistes et colonialistes. Un raccourci bien-pensant qui omet le contexte historique auquel il appartenait avec une vision largement partagée à l’époque.
Si l’on peut discuter de son racisme, en revanche, il était clairement colonialiste et fut même un théoricien de la colonisation avec une définition de plusieurs impératifs : économique, géostratégique, la grandeur de la France et l’ordre moral. Ce dernier impératif consistait à répandre les lumières, à contribuer au progrès et assurer le triomphe des grands principes et des libertés. Bref, un monde qui, une fois instruit, deviendrait champion des droits de l’homme.
Dans le cadre d’une action politique, administrative et militaire au Tonkin et en Annam, où il fallait assurer et renforcer la présence française, il fut nommé Résident supérieur du protectorat de l'Annam-Tonkin (1886) où, sept mois après son arrivée, il mourut victime du choléra à l’hôpital d’Hanoï.
Autopsié, son visage moulé, rapatrié en France par bateau, son arrivée à Toulon fut saluée avec une salve d’honneur.
On lui réserva des funérailles nationales, transformées en acte de foi civique et républicaine, qui eurent lieu le 15 janvier 1887 à Auxerre, sa ville natale. Funérailles laïques que Mgr Freppel (1827-1891), évêque et député, qualifia de « glorification de l’impiété », mais preuve que la République pouvait se passer de l’Eglise pour honorer ses héros libres penseurs.
Son cercueil fut exposé au sommet d’un catafalque de plus de dix mètres de haut avec drapeaux tricolores, rubans de crêpe noir et torchères. L’armée défila. La cérémonie comporta plusieurs discours avant qu'il ne soit inhumé au cimetière Dunant.