Revenu en Seine-et-Oise, dont il avait été missionné comme représentant auparavant, il y fit fermer les sociétés populaires (clubs politiques).
Entré au Conseil des Anciens sous le Directoire, il fut nommé ministres des Relations extérieures en novembre 1795. Mais « lourd et entêté, défauts qui nuisent beaucoup aux succès dans la diplomatie » Talleyrand le remplaça, en juillet 1797, après qu’il eût échoué dans ses négociations avec l’Angleterre.
Nommé ambassadeur en Hollande, il y favorisa le mouvement démocratique qui, vainqueur en janvier 1798, fut éliminé en juin suivant ce qui provoqua son rappel.
Rallié à Bonaparte, il fut nommé préfet de la Gironde de 1803 à sa mort.
S’il ne laissa pas un souvenir impérissable dans l’histoire, il n’en fut pas de même pour son fils supposé, le peintre Eugène Delacroix. Fils supposé ? Affecté d'une excroissance testiculaire qui l'aurait empêché de procréer et dont il subit l’ablation quelques mois avant la naissance d’Eugène, la controverse sur sa paternité continue encore de nos jours entre spécialistes: le père biologique d’Eugène serait Talleyrand.
Inhumé au cimetière de la Chartreuse à Bordeaux, sa première tombe disparut sous la Restauration et ses cendres dispersées (!), méfait dont Eugène accusa les royalistes. La nouvelle sépulture, lui servant de cénotaphe, commandée à l’architecte Louis Roche (Roché ?) sur les plans d’Eugène Delacroix, fut édifiée à la mort Charles-Henri Delacroix, fils aîné de Charles-François. Le buste de Charles-François fut réalisé par Pierre Chinard. Eugène rédigea également l’épitaphe gravée sur la dalle de Charles-Henri. Symétrique, une dalle muette évoque la place vide laissée par Charles-François dont on ne retrouva pas les restes.