Se faisant connaître de la France entière par l’émission de télévision 1 = 3 en 1964, toujours avec son compère Jacques Martin, cette même année marqua ses débuts d’une longue carrière au cinéma avec La vie à l’envers d’Alain Jessua.
Quelques films plus tard, il se fit remarquer dans Week-End (1967) de Jean-Luc Godard où le réalisateur y prolongeait son image d'éternel râleur développé sur les ondes radiophoniques. Mais ce fut Claude Chabrol qui le révéla à travers les rôles respectifs d'un tyran domestique et d'un assassin dans deux films tournés coup sur coup : Que la bête meure (1969) et Le Boucher (1970). Le Saut de l'ange (1971) et Nous ne vieillirons pas ensemble (1971), pour lequel il obtient le Prix d'interprétation à Cannes, achevèrent d'installer son image de salaud.
Son goût pour la comédie et l'humour grinçant le poussèrent à réaliser son premier film où il dénonçait le monde de la radio et son licenciement, Tout le monde il est beau, tout le monde il est gentil (1972), avant de brocarder le monde politique dans Moi y'en a vouloir des sous (1973), du spectacle dans Chobizenesse (1975) ou encore celui de la télévision dans Je te tiens, tu me tiens par la barbichette (1978). Sa parodie de péplum Deux heures moins le quart avant Jésus-Christ fut l'un des grands succès de l'année 1982.
Se consacrant à de nombreuses activités annexes et vivant en Californie depuis 1979 pour des raisons financières, il revenait régulièrement en France pour des films, des émissions de télévision ou de radio comme sa chronique matinale sur RTL sans oublier sa place de sociétaires des Grosses Têtes de Philippe Bouvard puis avant de rejoindre Laurent Ruquier et sa bande dans On va s'gêner sur Europe 1 en 2000.
On ne saurait oublier qu’il fut également l'auteur du célèbre slogan "Il est interdit d'interdire", né d’une simple boutade lors d'une de ses émissions radiophoniques au printemps 1968, et de quelques recueils littéraires assaisonnés à la sauce Jean Yanne.
Il mourut d'une crise cardiaque dans l’ambulance qui le menait à Epernay suite à un malaise dans sa propriété de Morsains (Marne).
Le 30 mai, bien qu’il ait souvent croqué du curé, ses obsèques toutes simples furent célébrées dans la petite église du Rosaire des Lilas où il avait été baptisé. Ainsi, dans sa complexité, entre sensibilité et vitriol, restait-il fidèle à l’héritage des valeurs reçues de sa famille.
Il fut inhumé avec ses parents dans le cimetière du quartier populaire qui l’avait vu grandir. Sur la tombe, point de rappel ostentatoire à sa vie publique : Jean Yanne s’est discrètement effacé pour redevenir Jean Gouyé, sa véritable identité.