Entre temps, à coups de petits emplois dans des films mineurs, il avait entamé sa carrière cinématographique dès 1951.
A partir des années 1960, ses rôles s'étoffèrent et le révélèrent au public, notamment avec La Guerre des boutons (1961), le grand succès d'Yves Robert, et surtout Le Gendarme de Saint-Tropez de Jean Girault (1965) où son air bourru et franchouillard, lui valut d'interpréter l'adjudant Gerber souvent dépassé par les évènements, chef de « Louis de Funès » -Cruchot. Bien qu’inégaux, les cinq épisodes de la saga des « Gendarmes » rencontrèrent un franc succès populaire. En 1971, Le Viager lui ouvrit une nouvelle carrière.
Enfin reconnu, il se vit proposer des personnages dramatiques, puis des premiers rôles, dont celui du tueur en série Joseph Bouvier, qu'il interpréta face à Philippe Noiret dans Le Juge et l'Assassin de Bertrand Tavernier (1976), qui lui valut le César du meilleur acteur l’année suivante.
Malgré une filmographie impressionnante, celle-ci affiche un nombre très conséquent de prestations alimentaires, dont le souvenir s’est émoussé, ce qu’il reconnaissait volontiers. Ainsi, tout en continuant à beaucoup tourner, se souvient-on surtout de lui, et encore, dans La Cage aux folles (1978) et les deux autres volets de série, ou comme inspecteur de police dans Subway (1985).
Se faisant plus rare dans les années 90, il renoua avec le succès grâce au triomphe de Bienvenue chez les Ch’tis (2008) dans lequel sa brève apparition marqua les esprits.
Parallèlement, il n’avait pas abandonné le théâtre. En 1984, il racheta et reconstruisit pour sa fille, Emma, le conservatoire Maubel devenu le Théâtre Montmartre Galabru où il donna, là et ailleurs, des cours de théâtre ; en 1985, il acheta le Théâtre de 10 heures pour en faire un tremplin pour les jeunes auteurs et comédiens.
Toujours enthousiaste et plein d’énergie, il s’activa sur les planches jusqu’en novembre 2015 : en 2008, il reçut le Molière du meilleur comédien, pour son rôle dans Les Chaussettes – opus 124 ; interpréta du Pagnol et joua Cancre, un texte autobiographique dans lequel il revenait avec humour sur sa carrière.
Mais, déjà très affecté par la mort de son frère (2014), celle de sa seconde épouse (2015) le terrassa. Il ne lui survécut que quelques mois avant de la rejoindre dans la tombe au cimetière de Montmartre.