À la dissolution de l'Assemblée constituante, il fut élu procureur général syndic du Haut-Rhin puis député de la Convention par le département du Haut-Rhin en 1792.
Chargé de la défense de Mayence et contraint de capituler, il suivit les Mayençais en Vendée avant de rentrer à Paris où il garda le silence jusqu’à la chute de Robespierre. Membre du Comité de salut public après Thermidor, le 13 octobre 1795, il entra au Conseil des Cinq-Cents comme député du Haut-Rhin. Nommé au Directoire le 1er novembre par le Conseil des Anciens, il en assura la présidence ce qui fit de lui le premier (et à ce jour le seul) chef d’état alsacien !
Toujours à combattre les royalistes, avec Barras et La Revellière-Lépaux, il soutint le coup d’Etat du 18 fructidor an V (4 septembre 1797). En 1799, remplacé par Siéyès au Directoire, il intégra les rangs du Conseil des Anciens où sa présence fut aussitôt contestée en raison des exactions de son beau-frère, Rapinat, en Suisse et de ses propres agissements : n’avait-il pas sa fortune placée dans des banques allemandes et piller du mobilier national à son profit ? Le coup d’Etat du 18 brumaire mit fin à sa carrière politique. Retiré dans sa ville natale de Colmar, il y mourut ruiné par les dilapidations de son fils.
Anecdote :
Son épouse, Marie-Anne Mouhat, était également originaire de Colmar. Lors d’une réception chez les Reubell, Barras aurait prononcé, à propos de son prénom : «Il est simple, il est bref et sied à la République, autant qu’il sied à vous-même». Ainsi la figure personnifiant la République aurait-elle été baptisée Marianne.
Jean-François Reubell fut inhumé dans le cimetière de Colmar où sa tombe existe toujours. Bien que les inscriptions y soient quasi illisibles, la sépulture de cette personnalité historique, enfant du pays, a néanmoins le privilège d’être préservée par la ville sans risque de relève. Initiative qu’on ne peut que saluer.