Alfred, ayant échoué de façon magistrale au concours d’entrée de l’Ecole normale, collaborait dorénavant à divers journaux et revues comme le Mercure de France, la Revue Blanche, et d'autres. Avec plus ou moins de succès, et plus ou moins longtemps en fonction de la longévité des revues et de ses humeurs, il fut collaborateur ou directeur de revues jusqu’en 1896 où il fut engagé comme secrétaire par Lugné-Poe, directeur du Théâtre de l'Œuvre, qui accepta d’inscrire au programme Ubu roi qui venait d’être publié. Le 10 décembre, la première de la pièce déclencha une polémique comparable à la bataille provoquée par Hernani de Victor Hugo, en 1830. Dès lors, les représentations de ses pièces se suivirent au fil des cycles d’Ubu décliné en représentations pour marionnettes (1898), ou sous forme réduite pour le cabaret des « Quat’z’arts » (1901).
La gloire ne nourrissant pas son homme, il dut restreindre son train de vie mais pas ses frasques à la
« Ubu ». Plus attentif au mouvement d’une phrase qu’à sa personne, très discipliné dans ses nombreuses extravagances, il avait un jugement sain et une logique implacable. Très intelligent, assimilateur jusqu’à la singerie, peut-être plus doué d’ingéniosité que d’imagination, humaniste, mathématicien, l’esprit ouvert à toutes les spéculations scientifiques, il inventa la « pataphysique », « science des solutions imaginaires qui accorde symboliquement aux linéaments les propriétés des objets décrits par leur virtualité », qui parut dans son livre Gestes et opinions du docteur Faustroll, pataphysicien (1897-1898).
En 1901, parut Messaline, roman de l'Ancienne Rome, d’une documentation solide et d’une écriture neuve et colorée, puis Le Surmâle (1902), roman d’une formidable fantaisie lyrique.
Malheureusement, plusieurs revues pour lesquelles il collaborait régulièrement cessèrent de publier et ses contributions ailleurs étaient de plus en plus brèves. Il continuait encore à écrire des fragments d’œuvres que des revues publiaient mais déjà ses abus d’absinthe se faisaient sentir. Un peu fatigué et déçu, il cessa d’écrire. On le voyait au café, devant des amis, « avec ce dédain d’un homme qui sème pour le plaisir, par habitude, par besoin, mais sans espoir de récolter. »
En 1905, ivre, en présence d'Apollinaire qui le désarma, il tira "à blanc" des coups de revolver sur le sculpteur espagnol Manolo Hugué.
Plongé dans un extrême dénuement, poursuivi par ses nombreux créanciers, malade, le plus souvent à Laval auprès de sa sœur, ses amis parisiens se démenaient pour l'aider.
De retour à Paris, son état s’aggrava. Le 29 octobre, son ami Alfred de la Vallette et le docteur Saltas le firent transporter d'urgence à l'hôpital de la Charité où il mourut quatre jours plus tard d'une méningite tuberculeuse.
Le surlendemain, après une brève cérémonie en l’église Saint-Sulpice, il fut inhumé au cimetière parisien de Bagneux.
Critique d’art, il fréquenta Gauguin à Pont-Aven et participa à « lancer » le Douanier Rousseau. Mais surtout, et avant tout, tout en conservant un style traditionnel, sa forme nouvelle d’ironie caricaturale en fit l’un des inspirateurs des surréalistes et du théâtre de l'absurde avec toujours, et encore, Ubu Roi comme référence.