Sa poésie alliait concret et métaphysique, sensualité et cruauté, vérité et incrédulité, fringales terrestres et soif d'infini. Passionné par la vie dans la diversité de ses formes, il traitait aussi bien des étoiles que du lombric ou de la mouche. Plutôt que d'essayer de nous impressionner par des acrobaties verbales, il préférait bien nous parler et tenter de nous rejoindre ; Norge était tout simplement naturellement poète. Ne se prenant guère au sérieux on tarda à en mesurer l’importance.
Après avoir créé en 1925, le théâtre du Groupe libre, un groupe avant-gardiste et éphémère, en 1931, avec Pierre-Louis Flouquet et Edmond Vandercammen, il fonda le Journal des poète puis les Cahiers blancs en 1937.
À 25 ans, il publia son premier recueil, 27 poèmes incertains, sous le pseudonyme de « Géo Norge », qu'il raccourcit bientôt en « Norge ». Il connut une première période de publication intense jusqu'en 1936.
Après la guerre, il émigra en Provence et devint antiquaire à Saint-Paul-de-Vence en 1954. C'est alors que commença sa seconde période de production intense.
Son œuvre enfin pleinement reconnue à la fin des années 1950, il reçut le prix triennal de poésie de la Communauté française de Belgique (1958) pour son recueil Les Oignons, l'Aigle d'or de la poésie au premier festival international du livre à Nice (1969), le prix quinquennal de littérature de la Communauté française de Belgique (1970) puis, le premier prix littéraire belgo-canadien (1971).
En 1983, ce fut la Semaine Norge à la Maison de la Poésie à Paris et, en 1985, le prix de la Critique pour Les Coq-à-l'âne.
Ces poèmes furent, entre autres, chantés par Jeanne Moreau.Norge mourut à Mougins où il fut inhumé. La commune possède quatre cimetières. La tombe de Norge se situe dans le n°2 où il rejoignit son épouse, l'artiste peintre Denise Perrier-Berche.