Elu conseiller général de l'Aube en 1874, il fut envoyé par ce département à la chambre des députés lors des élections générales de 1876. Réélu jusqu’en 1894, tour à tour sous-secrétaire d’État à l’Instruction publique, aux Cultes et aux Beaux-arts (1877), sous-secrétaire d’État à la guerre (1883), etc., Sadi Carnot appela cet excellent orateur à la présidence du Conseil le 3 décembre 1893.
La victoire des « progressistes » aux élections législatives venait de lui dégager la route vers le pouvoir. Pourtant, il se fit prier. Désireux d'écarter du pouvoir les radicaux comme les monarchistes, il décida de gouverner au centre-droit, dans une majorité ouverte aux ralliés. Il forma un gouvernement constitué de républicains modérés traditionnels, et prit pour lui-même le portefeuille des Affaires étrangères.
Le 9 décembre 1893, Auguste Vaillant commettait un attentat à la Chambre des députés. En réaction à la vague anarchiste le gouvernement vota les « Lois scélérates » destinées à mettre en place une sévère répression de l'anarchisme en France. Quelques mois plus tard, Eugène Spuller, ministre de l'Instruction publique, des Beaux-arts et des Cultes, lançait un pavé dans la mare des anticléricaux en appelant à la tolérance dans les affaires religieuses. Et Casimir-Périer de se voir accusé de pactiser avec l’ennemi sous prétexte de vouloir plaire aux catholiques ralliés.
Déjà fragilisé, le cabinet dut faire face au refus du ministre des Travaux publics d'accorder la liberté syndicale aux employés des chemins de fer. La Chambre refusant de voter l'ordre du jour, Casimir-Périer remit sa démission le 23 mai 1894.
Le 25 juin, Caserio assassinait Sadi Carnot qui considérait Casimir-Périer comme son héritier. Conscient du rôle de « potiche » politique qu’il allait interpréter, il se montra très réticent à poser sa candidature avant d’accepter.
Elu grâce au soutien de la droite, considéré par la gauche comme le « président de la réaction », il devint rapidement la cible de l’opposition qui l'exécrait pour son appartenance à la haute bourgeoisie. Propriétaire de la majeure partie des actions des mines d’Anzin, surnommé « Casimir d'Anzin », les campagnes de presse hostiles se multiplièrent. Très touché par ses attaques, tenu à l’écart par ses ministres, ne pouvant intervenir dans la politique du gouvernement, il démissionna au bout de six mois de mandat.
Se consacrant dorénavant à ses affaires et à des œuvres sociales, en 1899, on le vit au procès d’Alfred Dreyfus à Rennes où il apporta un témoignage favorable à l’accusé.
Il mourut des suites d'une angine de poitrine après avoir refusé qu'on lui organise des obsèques nationales.
Jean Casimir-Périer fut inhumé dans la chapelle familiale du cimetière de Pont-sur-Seine où son père l’avait précédé. La famille y possédait un château qu’elle avait fait construire, de façon beaucoup plus modeste, en remplacement d’un autre entièrement brûlé par les Prussiens pendant la campagne de France.
Pont-sur-Seine: une commune pas si tranquille...
Car si aujourd’hui la commune de Pont-sur-Seine coule des jours paisibles à l’écart d’une vie publique agitée, ce ne fut pas toujours le cas. Les Casimir-Périer furent les derniers à amener cette animation singulière avant de reposer au calme dans leur tombe. Enfin, presque, car en 1961, c’est bien à Pont-sur-Seine qu’eut lieu un attentat raté contre le général de Gaulle…
Charlemagne y avait envoyé son ministre Alcuin pour faire un hospice ; au 17ème siècle Claude Bouthillier de Chavigny, surintendant des finances de Louis XIII, et sa femme Marie de Bragelogne s’y firent construire là un immense château, l'une des plus belles demeures de France dont la Grande Mademoiselle garda un souvenir extasié. Les artistes Philippe de Champaigne et Eustache Lesueur peignirent entièrement l'église. Le Prince de Saxe acheta le château que Napoléon Ier offrit par la suite à sa mère qui y résida une dizaine d'années. C’est ce château qui disparut dans un incendie et que remplaça la famille Casimir- Périer. La demeure existe toujours mais est en piteux état.