Sa carrière cinématographique, débutée en 1930, connut le même succès ; dès 1937, grâce Christian-Jaque, et surtout à Marcel Pagnol -Angèle (1934), Regain (1937), Le Schpountz (1938), La Fille du puisatier (1940)- il était devenu l’un des comiques les plus populaires du grand écran, mais pas seulement. Si les rôles d’ahuri, de demeuré, de candide ou de débrouillard bien franchouillard lui allaient à merveille, son registre s’étendait aussi à la tragédie, à l’émotion, à la dérision...
Sa filmographie comprend des chefs-d’œuvre mais également des navets qui l’éclipsèrent un temps de la faveur du public principalement dans les années 1940.
Dans la décennie suivante, il renoua avec le succès grâce au début de la série des Don Camillo (Le petit monde de don Camillo en 1952), tirée de l'œuvre de Giovannino Guareschi, mais aussi grâce à L'Auberge rouge (1951), Ali Baba et les Quarante voleurs (1954) et surtout La Vache et le Prisonnier (1959), La cuisine au beurre (1964),…
En 1963, fonda avec Jean Gabin la société de production Gafer .
En 1970, alors qu’il avait commencé le tournage de Don Camillo et les contestataires, dernier volet de la saga, son état de santé l’obligea à arrêter.
Victime d’un cancer du poumon, il s’éteignit l’année suivante dans son appartement de l’avenue Foch, ce qui, dans un premier temps, explique sa présence dans un cimetière parisien et non à Carry-le-Rouet, où il résidait fréquemment. Son transfert sous le soleil des Bouches-du-Rhône se fera-t-il un jour ?
Fernandel fut inhumé au cimetière de Passy. Dans sa tombe discrète repose également son épouse, Henriette (1902-1984).
Il était le père du chanteur et acteur Franck Fernandel (1935 - 8 juin 2011).