Au grand écran, il débuta sous la houlette de Marcel Carné dans Les Visiteurs du soir (1942), puis dans Les enfants du Paradis (1945).
De simples apparitions en tous petits rôles, jonglant entre théâtre et cinéma, sa carrière ne décolla vraiment qu’à partir des années 1960, notamment grâce aux Trois Mousquetaires de Borderie, puis au Caporal épinglé (1961), écrit par Jean Renoir. A partir de là, il put asseoir sa popularité par des comédies, et s’illustrer dans Alexandre le Bienheureux (1967) d’Yves Robert aux côtés de Philippe Noiret. Ce n’est toutefois qu’en 1973 que sa carrière prit un tournant décisif à la sortie de la comédie au succès retentissant, Le Grand Blond avec une chaussure noire.
Devenu vedette à part entière, il connut alors ses années de gloire en enchaînant plusieurs tournages par ans et en jouant avec, et pour, les plus grands, servant au passage, et à merveille, des dialogues de Michel Audiard dont il fut un acteur fétiche.
Le public français s’était attaché à sa trogne de bon vivant. Les années 1980 furent également couronnées de succès. Après avoir fait rire la France entière dans le rôle du Bombé de La Soupe aux choux (1980) aux côtés de Louis de Funès, ce fut la consécration : il remporta le César du meilleur second rôle masculin en 1982 pour son interprétation de Thénardier dans Les Misérables (1982) de Robert Hossein. Il n’en avait pas fini avec le succès puisqu’il fut nominé pour le César du meilleur acteur pour son rôle de travesti dans Miss Mona (1987), et décrocha son second César du meilleur acteur dans un second rôle pour l'interprétation de Raymond dans Merci la vie (1991) de Bertrand Blier.
Acteur prolifique, sa filmographie affiche environ 150 films dont, il est vrai, beaucoup de médiocres. Nonobstant, grâce à certains d’entre eux, et surtout à ceux qui ne l’étaient pas, il put s’enorgueillir d’appartenir aux acteurs populaires préférés des Français.
Jean Carmet fut inhumé au cimetière du Montparnasse où sa tombe s’orne différemment en fonction des périodes sans pour autant, hélas, effacer son aspect sommaire et tristounet, ni redonner du lustre à son nom qui, lui, s'efface vraiment...