Après l’exécution du roi, il disparut dans la foule et pratiquement des manuels d’histoire.. S’étant aussi rapproché de Madame Elisabeth, malgré le danger, il resta en France pour être près d’elle si elle le faisait appeler. C’est avec stupeur qu’il apprit l’exécution de la sœur du roi le 9 mai 1794. En août 1796, il quitta la France pour rejoindre le comte d’Artois en Ecosse. Dévoué de façon inaltérable à la famille royale, pendant plus de dix ans, il partagea son sort dans son exil.
Un sincère et profond chagrin s’abattit sur la Cour de Mitau. Louis XVIII rédigea lui-même une longue épitaphe en Latin pour le défunt (ci-après).
Il fut inhumé au catholique de Mitau qui existait encore avant la Seconde Guerre mondiale. Mitau connut des heures dramatiques durant le conflit, puis le cimetière catholique fut rasé à l'époque soviétique et tout souvenir de l’abbé Edgeworth disparut. Autrefois, on pouvait lire autrefois cette épitaphe sur sa tombe:
“Ici repose le Très Révérend Henry Essex Edgeworth de Firmont, prêtre de la sainte Eglise de Dieu, vicaire général du diocèse de Paris, qui suivant les pas du Rédempteur, fut l’œil de l’aveugle, le bâton du boiteux, le père des pauvres, le consolateur des affligés, lorsque Louis XVI fut condamné à mort par des sujets impies et rebelles.
Il soutint le martyr résolu dans son dernier combat et lui montra les cieux ouverts, arraché au
bras des régicides par la protection admirable de Dieu.
Il s’attacha volontiers volontairement à Louis XVIII lorsque celui-ci désira ses services. A lui, à sa royale famille et à sa fidèle suite, il se montra en l’espace de dix ans un exemple de vertu et un réconfort dans l’infortune.
Chassé de royaume en royaume par les calamités de l’époque, il passa en faisant le bien, toujours semblable à Celui qui possédait toute sa dévotion.
Rayonnant du bien qu’il avait fait, il mourut le vingt-deuxième jour de mai de l’an de grâce 1807 à l’âge de 62 ans. Qu’il repose en paix ! »