Député suppléant à la Convention, élu administrateur du département du Pas-de-Calais, il quitta sa fonction de maire d’Arras occupée peu de temps auparavant. Devenu député (juil. 1793), il se fit très vite remarquer par son ardeur et son éloquence à l’Assemblée. Pourtant, son attitude n’y était pas blâmable au point d’être qualifiée de « modérantisme ». Cela ne dura pas.
Elu (sept.1793) au Comité de sûreté générale, où il devint un fidèle de Robespierre, arrageois comme lui, il fut envoyé dans le Pas-de-Calais, puis dans les départements limitrophes, afin d’y éradiquer des mouvements contre-révolutionnaires. Totalement investi dans sa nouvelle mission, Joseph Lebon endossa les costumes de commissaire de police, de juge d’instruction, de procureur général et de président de tribunal. Déjà craint de tous, son zèle révolutionnaire allait prendre toute sa mesure lorsque, en janvier 1794, la Convention fit de lui, pour le Nord et le Pas-de-Calais, le représentant du peuple chargé d’établir le gouvernement révolutionnaire en le revêtant de pouvoirs illimités.
Dès février, dans le cadre de la loi des suspects qui venait de se durcir, il créa le tribunal révolutionnaire à Arras et à Cambrai.
Celui d’Arras était d’autant plus à ses ordres qu’il comprenait plusieurs membres de sa famille dans le jury et parmi les jurés…
Après avoir purgé les administrations locales, il s’attaqua à celle des prisons arrivées à saturation par ses bons soins. Quoi de mieux pour faire de la place que la guillotine ? Sous prétexte d’éradiquer l’ennemi avéré ou supposé de la Révolution, en pleine Terreur, Le Bon fit régner la sienne à Arras, Douai ou Cambrai. Protégé par Robespierre, alors que les tribunaux départementaux avaient été supprimés celui d’Arras fut maintenu. La gravure ci-dessous donne une idée du souvenir qu'il laissa à sa ville natale.