Fréquentant tous les cours gratuits qu’il pouvait trouver, il bourrait ses poches de notes qu'il recopiait, le soir, dans les salles chauffées de la bibliothèque Sainte-Geneviève. Aucun diplôme ne vint jamais sanctionner ses savantes études car il ne passa ni examen ni concours, ce qui lui valut longtemps une réputation d'autodidacte.
A ses côtés sa femme, Suzanne, relisait, corrigeait et complétait ce qui fut le premier ouvrage de Pierre : la Lexicologie des écoles primaires, cours complet de langue française, destiné à apprendre aux enfants non seulement l'orthographe, mais aussi l'art de parler et d'écrire correctement. Ce livre parut, à compte d'auteur, en 1849.
En 1851, sa rencontre avec Augustin Boyer, un compatriote qui cherchait sa voie dans le commerce, fut capitale. Se liant d’amitié, les deux hommes fondèrent, en 1852, la Librairie Larousse et Boyer permettant à Pierre des publications pédagogiques considérables qui connurent un grand succès.
S'appuyant sur des principes pédagogiques modernes, il renouvela de fond en comble l'enseignement du français, s'efforçant d'éduquer de façon active l'intelligence et le jugement des enfants, en meublant de façon attrayante leur esprit.
En 1856, parut le Nouveau Dictionnaire de la langue française, l'ancêtre du Petit Larousse, avec ses deux parties déjà séparées par les « pages roses ». Le succès fut là aussi immédiat.
Mais Pierre Larousse avait depuis longtemps en tête un autre projet, celui d'une encyclopédie qu'il voulait semblable à celle de Diderot et d'Alembert qui s'adresserait non pas à une élite, mais à tous, de façon à "instruire tout le monde sur toutes choses".
En décembre 1863 (1865 ?), le premier fascicule du Grand Dictionnaire universel du XIXe siècle voyait le jour suivi de quatorze autres formant un monument à la gloire des idées républicaines, libérales, laïques et progressistes.
Boyer et Larousse se séparèrent en 1869. Les ouvrages scolaires et le dictionnaire furent diffusés par la maison Boyer, laquelle fit imprimer par Larousse ses propres ouvrages.
Déjà victime d’une attaque cérébrale en 1868, Larousse fut atteint de paralysie en 1871. Lui, le travailleur infatigable, le profond penseur, l'homme vivant surtout par le cerveau, était condamné à l'immobilité et à une vie toute matérielle. Une dernière attaque l'emporta sans avoir pu voir la fin de son œuvre qui en était au tome XII. Son neveu, Jules Hollier-Larousse, se chargea de la mener à son terme.
Parfois bien placé en décoration dans les bibliothèques, le Grand dictionnaire encyclopédique en 15 volumes peut aussi s’ouvrir pour un plaisir inégalé, celui d’un voyage au pays magique de la connaissance…n’en déplaise à Internet.
Pierre Larousse fut inhumé au cimetière du Montparnasse. Le monument ornant sa tombe fut inauguré le 3 janvier 1877. Le buste est signé Perraud.