-Création, en 1909, du musée de la préfecture de police et des archives de la police afin de valoriser le patrimoine de la police française,
-Installation de cinq-cents avertisseurs téléphoniques rouges pour alerter les pompiers, puis pour alerter police-secours
-Réorganisation de la circulation en instaurant des passages piétons, des sens uniques et des sens giratoires
-Etc.
Concernant l’organisation de la police elle-même, il encouragea le développement de la police scientifique et, en 1912, face à l’insécurité, sur le modèle des Brigades du Tigre, il instaura une section criminelle de la Sûreté de Paris (future brigade criminelle) pour endiguer, notamment, les exactions commises par la célèbre « bande à Bonnot », mais aussi par les Apaches, tels Manda et Leca, et autres voyous de tous poils.
Mais, attachée à son nom, reste une célèbre manifestation, le fameux concours Lépine qu’il créa en 1901 pour soutenir les fabricants de jouets en butte à la concurrence allemande. Récompensant les meilleures inventions des artisans et des commerçants, on ne compte plus les géniales trouvailles qui, depuis, y furent découvertes puis industrialisées.
A sa mort, il fut inhumé au cimetière versaillais des Gonards où il rejoignit son épouse