Entre 1906, il créa avec Georges Duhamel, qui deviendra son beau-frère, groupe de l'Abbaye, situé à Créteil, phalanstère d’artistes regroupant poètes, écrivains, musiciens et peintres. L’enthousiasme ne pouvant combler les problèmes financiers, la joyeuse expérience communautaire prit fin en 1908.
Après l'échec de l'Abbaye, il ouvrit avec sa femme une galerie de tableaux qu'il tint jusqu'en 1930. Doté d'un goût très sur, il fréquenta et choisit tous les peintres de l'époque qui devinrent célèbres : Friez, Wlaminck, Camoin, Marquet, Maximilien Luce, Manguin, Gerbaud, Lebasque.
En défenseur d'une pensée libre et d'une tolérance humaniste, il fit plusieurs voyages à l'étranger: au Japon, en U.R.S.S., en Espagne,…
Homme d’engagement, pendant la Seconde Guerre mondiale, il participa en 1942 à la publication clandestine des Lettres Françaises. Il fut arrêté par la Gestapo et emprisonné à Fresnes en 1943.
En 1960, il signa la "Déclaration sur le droit à l'insoumission dans la guerre d’Algérie", dit “Manifeste des 121".
Poète, conteur, essayiste et surtout auteur dramatique : il reste un des écrivains de théâtre les plus importants des années 1920. Dans ses œuvres il évoque un monde habité de déracinés incapables d’aller jusqu’au bout de leur rêve.
Si sa première œuvre, Livre d’amour, publiée en 1910, est considérée comme son chef d’œuvre, Le Paquebot Tenacity, eut, en 1920, figura parmi les grands succès dramatiques de la première moitié du 20ème siècle et reste la plus connue de ses œuvres pour adultes.
Il reçut le Grand Prix de Littérature de l'Académie Française en 1963.
A partir de 1924, il écrivit des contes et des romans pour les enfants, dont le plus connu est certainement L'ile rose.
En 1973, un prix de poésie fut créé qui porte son nom : le Prix de poésie Charles-Vildrac.
Charles Vildrac mourut dans sa propriété de Saint-Tropez et fut inhumé dans le cimetière de la commune.