Révoqué le lendemain, pour marquer son opposition à l'Empire, il publia Le Devoir (1854) dont le retentissement fut énorme. Bientôt suivirent La Religion naturelle (1856), La Liberté de conscience (1857), La Liberté (1859), et tint une série de conférences sur des questions de philosophie, de droit puis enfin d’économie politique.Premier libéral à s’intéresser à la question ouvrière, il en dénonça les abus.
Elu député du département de la Seine (1863) , il rejoignit le groupe de l’opposition libérale. Puis, pour ses convictions libre-échangistes les habitants de Bordeaux le choisirent pour les représenter à la députation (1869).
Ministre de l'instruction publique, des cultes et des beaux-arts du gouvernement provisoire pendant la guerre de 1870, il déposa le projet d'enseignement primaire obligatoire
Sénateur inamovible et membre de l’Académie française le même jour le (16 décembre 1875), il prit la présidence du conseil et le portefeuille de l’Intérieur (1876). C’est là que son nom s’associa au livret de famille.
En mai 1871, lors des incendies durant la Commune de Paris, l’Hôtel de ville fut brûlé, faisant ainsi disparaitre l’état civil parisien qu’il conservait. Si le premier livret de famille date de 1872, il fut vraiment institué le 18 mars 1877 par une circulaire de Jules Simon qui précisait que : « les livrets de famille constitueront en quelque sorte un troisième dépôt des actes d'état civil confié à la garde des intéressés et seront une source de renseignement précieux pour le cas où les registres où viendraient à être détruits ». Il fut généralisé par une loi de 1884.