Après la défaite de la Commune, il vécut mal cette fin de rêve. Il se fit oublier du pouvoir quelque temps avant de reprendre son activité qu’il finit par délaisser au profit de la peinture.
Également chansonnier à Montmartre, il fréquentait le Cabaret des Assassins qui devint le célèbre cabaret montmartrois, le Lapin agile après qu’il en eût peint l’enseigne (►Frédéric Gerard).
Mais, alors qu’il s’était affirmé comme précurseur dans le domaine des caricatures, en pleine révolution impressionniste, il réalisa des tableaux réalistes sans grande originalité. Sa renommée s’étiola et l’argent commença à manquer.
Son ultime refuge fut sa vie privée en se mettant en ménage. En 1881, il eut un fils, Jacques, qui décéda peu après. Et on le retrouva errant dans les rues de Bruxelles où il était en voyage. Manifestement désorienté, il semblait avoir vagabondé à travers bois depuis des jours. Ramené à Paris par Vallès et Callet, après maintes tribulations, il fut conduit à l’asile de Charenton où il n’admit jamais être malade. Certes, il avait bien quelques égarements mais pas de quoi remettre en cause la solidité de sa raison. En revanche, sa vie dans l’asile, le regard des autres que lui valait sa condition d’aliéné et le manque de soutien de ses proches lui causaient une vraie souffrance.
Grâce à des interventions amicales et à une amélioration, il en sortit en janvier 1882. Ruiné par les frais de son internement, il se lança dans de nouveaux travaux : un livre de souvenirs paru en 1883, et l’exposition de sa nouvelle œuvre, Le Fou, accepté au Salon de 1882. Hélas, son tableau était accroché si en hauteur qu’il était invisible.