Ce qui ne l’empêcha pas d’être exclu des Cordeliers pour avoir critiqué les projets terroriste d’Hébert. Envoyé à Rouen, il sévit modérément contre les « royalistes » et les « fédéralistes ». Ce fut lors cette mission qu’on l’appela pour identifier le corps de Roland de la Platière.
A l’annonce de l’arrestation de Danton, il prit la défense du tribun avant de, face aux attaques de Robespierre, se rétracter lâchement, en prétendant qu’il n’avait eut l’intention de défendre un coupable.
Se faisant oublier jusqu’au 9 thermidor, il ne reprit ses harangues qu’en étant certain de la chute de Robespierre. Son organe vocal opportunément retrouvé, il n’eut de cesse de s'attaquer avec violence aux terroristes et de dénoncer les membres des anciens comités.
Puis, il se mit à la tête de la force armée pour réprimer les insurrections de germinal et de prairial et s’inquiéta de la force montante des royalistes.
Réélu par onze départements, il entra au Conseil des Anciens. Mais, Legendre n’était plus qu’un homme ruiné physiquement et moralement par les épreuves de la Terreur. Baudot, qui le rencontra peu avant sa mort, écrivit :
« C’était un spectacle à fendre le cœur de voir ce bœuf, si furieux à la Convention, verser des larmes de repentir en présence de la tombe prête à s’ouvrir. »
Aucun cimetière n'abrite sa tombe : « Afin d'être encore utile aux hommes après sa mort », il légua son corps à l'école de chirurgie.