Le 16 janvier 1884, au lendemain de la mise en œuvre de l'arrêté, Le Figaro publia un article qui dénonçait toute l'affaire. C'est alors que le journaliste évoqua pour la première fois les « boîtes Poubelle » qui devinrent très vite les poubelles dans le langage courant. C’est ainsi que M. Poubelle resta éternellement attaché à sa création. La définition de la « poubelle » fut insérée en 1890 dans le supplément du Grand dictionnaire universel du XIXe siècle.
Pourtant, c’est également lui qui organisa le tout-à-l'égout en 1894, concept qui, à la suite de la dernière résurgence du choléra en 1892, gagna, lui, la faveur du public.
De même, contre l'avis des commissions médicales, il signa l'arrêté préfectoral qui autorisait les femmes à s'inscrire au concours de l'internat (1885), qui mettait fin à l'interdiction des femmes d'exercer la médecine et la chirurgie en France.
Nommé ambassadeur au Vatican (1896), il fut créé comte romain (1898). Conseiller général de l'Aude pour le canton de Saissac (1898 et 1904), président de la Société centrale d'agriculture de l'Aude, il était, à ce titre,un ardent défenseur des vins du midi.
Mort à Paris, il fut inhumé dans la sépulture de famille de son épouse, Gabrielle Lades-Gout, au petit cimetière de Grèzes-Herminis, sur la commune de Carcassonne.