Mais la crise du 16 mai 1877 avait fixé, en matière de pouvoirs présidentiels, ce qui allait devenir, sous les IIIème et IVème Républiques, " la tradition républicaine". Nul ne l’exprima mieux que Grévy lors de sa prise de fonctions lorsqu’il qu’il énonça les termes de ce que les juristes nommèrent, non sans ironie, la
"Constitution Grévy" : "Soumis avec sincérité à la grande loi du régime parlementaire, je n’entrerai jamais en lutte contre la volonté nationale exprimés par ses organes constitutionnels ". En clair, le président renonçait à avoir une politique personnelle, laissant la majorité de la Chambre lui imposer la sienne.
A partir de ce postulat, il acceptait de se laisser dépouiller de la plupart des pouvoirs confiés par les actes constitutionnels de 1875 : choisir les ministres, nommer et révoquer les fonctionnaires ou officiers, demander aux Chambres une seconde délibération des projets de loi, user du droit de dissolution de la Chambre des députés. Désormais, les présidents s’effaceraient derrière leur fonction.
Grévy fit de la modestie de son style de vie un atout politique : le chef de l’Etat pouvait être identifié à la France bourgeoise et économe. On alla jusqu'à parler de ladrerie et de la pingrerie de sa femme, Coralie, qui, disait-on, faisait son marché elle-même…Ah! Les médias!
C’est sous son mandat que furent adoptés les symboles républicains du 14 juillet (1880) et de la Marseillaise et que l’Elysée devint la résidence officielle de la présidence.
Menant une politique anticléricale incarnée dans les réformes de l’éducation, on lui doit, entres autres, la création des Ecoles normales formant désormais les professeurs dans un cadre et une idéologie républicaine. Ministre de l’Instruction publique, Jules Ferry rendit progressivement l'école gratuite, l'éducation obligatoire et l'enseignement public laïc.
Réélu en 1886, « le scandale des décorations » mit un terme à son nouveau mandat en 1887 : Daniel Wilson, son gendre, avait usé de son influence à l’Elysée pour s'adonner à un traffic de décorations. Grévy s’opposa à une commission d’enquête et refusa de démissionner jusqu’à ce que les parlementaires menacent de faire grève.
Retiré à Mont-sous-Vaudrey, sa commune natale, il y décéda d’une congestion pulmonaire. Malgré son anticléricalisme, il accepta les derniers sacrements et ne put réchapper à l’office religieux en grande pompe digne de son passage dans l'histoire. Les couronnes mortuaires en perle de ses funérailles, témoins des derniers hommages, sont toujours là.
Jules Grévy fut inhumé dans le caveau d’une chapelle familiale qu’il avait conçue de son vivant et payée de ses deniers. Prévoyant les dommages que pourrait occasionner la proximité de l’eau circulant sous le cimetière, le caveau fut plombé.
Avec lui reposent sa femme, sa fille Alice et son mari, Daniel Wilson, ainsi que sa gouvernante et l’une de ses petites-filles.
Dans le même enclos, mais dans une autre chapelle, furent inhumés ses deux frères, Paul et Albert, et une partie de leur descendance.