Après avoir étudié la fugue, le contrepoint et la composition au Conservatoire, il connut une première consécration en remportant le premier prix au concours de Rome avec sa cantate Fernande (1839) qui lui ouvrit les portes de la villa Médicis.
A Rome, il noua rapidement des liens d'amitié avec Ingres, alors directeur de l'Académie de France, lut Faust de Goethe et composa des mélodies, telles Le Vallon ou Le Soir, sur des poèmes de Lamartine. Transporté par la musique sacrée, troublé par la musique allemande que lui fit découvrir Fanny Hensel, la sœur de Félix Mendelssohn, il connut ensuite une crise mystique qui le poussa à se consacrer à la musique religieuse et à se retirer dans un couvent. Là, il composa une messe solennelle qu'il fit exécuter à l'église Saint-Louis-des Français (1841) et dont le succès lui valut le titre de maître de chapelle honoraire à vie.
Quittant Rome pour Vienne, où la vie musicale était florissante, il y dirigea deux de ses œuvres et eut le bonheur d’y rencontrer Mendelssohn qui, tout en appréciant le travail du jeune compositeur, lui fournit des conseils.
De retour à Paris (1843), il accepta le poste de directeur de la musique à l'église des Missions Étrangères où il imposa aux paroissiens, non sans mal, Bach et Palestrina. Pendant cinq ans, toujours tenté par la vie ecclésiastique, il resta soustrait aux séductions du monde jusqu’au jour où il réalisa que pour se faire un nom, il fallait en passer par le théâtre.
La cantatrice Pauline Viardot (1821-1910), qu’il avait déjà rencontrée à Rome, l’incita alors à écrire un opéra, Sapho, qui tout en ne connaissant qu’un succès d’estime, retint l’attention du public et de la critique.
En 1852, grâce à l’édition de son divertissement, Ulysse, Gounod eut enfin le sentiment qu’il ne serait pas oublié.
Marié à Anna Zimmerman, fille du compositeur Joseph Zimmerman (1785-1853), nommé directeur de l'Orphéon de Paris, puis directeur de l'enseignement du chant dans les écoles communales de Paris (1853), il connut enfin une fortune sans précédent avec son fameux Ave Maria.
Après avoir été interné pour dépression, il composa Le Médecin malgré lui (1858), d'après la pièce éponyme de Molière, un chef-d’œuvre d'esprit et de verve, mais peu joué depuis le milieu du 20ème siècle. Faust, sur lequel il travaillait depuis des années, était enfin achevé. Créé en 1859, cet opéra, qui jouit depuis d'une popularité universelle, ne connut pourtant pas un succès immédiat. En revanche, Roméo et Juliette, créé en 1867, souleva un enthousiasme unanime. Gounod était à l'apogée de sa carrière dramatique.
Epuisé par cette période d'intense activité créatrice, il se réfugia à Rome, où il esquissa un « opéra chrétien », Polyeucte, création qu’interrompit la guerre de 1870. Accablé par l'état de la France, il se réfugia en Angleterre avec sa famille où, soumis à la pression de sa maîtresse, la soprano Georgina Weldon (1837-1914), qui le contraignait à une travail intense, il tomba malade.
Rapatrié en France, il œuvra encore à plusieurs ouvrages qu’il dirigea le plus souvent. Le concert qu’il donna au Châtelet, le 4 avril 1890, marqua sa dernière apparition publique.
Comblé d'honneurs et de décorations, il fut frappé d'une attaque d'apoplexie et mourut dans la maison de sa belle-famille à Saint-Cloud.
Après des funérailles nationales en l’église de la Madeleine où, selon son vœu, fut chantée une messe en grégorien, avec le concours de Camille Saint-Saëns à l'orgue, et de Gabriel Fauré à la tête de la maîtrise, Charles Gounod fut inhumé dans la chapelle familiale au cimetière d’Auteuil. Dans la même tombe reposent, entre autres : -Anna Zimmerman (1829-1907), sa femme
-Jean Gounod (1856-1935), l'aîné de ses deux enfants qui fut peintre