Plusieurs fois ministre : de la Marine du (27 fév. au 8 mars 1892) ; de la Marine et des Colonies (8 mars au 12 sept. 1892) ; de la Guerre (1er nov. 1895 au 29 avril 1896 puis du 28 juin 1898 au 5 septembre 1898), son nom, ou son prénom, reste attaché à l’affaire Dreyfus qui partagea la France avec violence de 1894 à 1906.
Nationaliste et antidreyfusard, en entrant au ministère de la Guerre il avait déclaré qu’il allait « liquider l’affaire ». Populaire au sein de sa famille politique, un pas de plus et c’était la magistrature suprême.
Se faisant apporter le dossier pour l’étudier, il y porta, hélas, un regard vicié par l’a priori et l’influence des généraux Gonse et Roget. Le 7 juillet 1898, devant les députés, se basant sur trois documents qu'aurait intercepté le colonel Hubert Henry et censé prouver de façon irréfutable la culpabilité de Dreyfus, il énonça sa certitude absolue de la culpabilité de ce dernier, justifiant ainsi la non révision de son procès. Un vrai triomphe, terminé par un couplet sur l’armée « forte de la justice des actes qu’elle a eu à accomplir »! Or ces documents s’avérèrent rapidement être des faux grossiers fabriqués par Hubert Henry, dont l'un est connu comme le « faux Henry ».
En janvier, Cavaignac avait expédié le vrai traître, Esterhazy, devant un conseil de guerre dont il était ressorti comme gredin mais acquitté ! Maintenant, il s’attaquait à Picquart, chef du service de renseignements, persuadé de l'innocence de Dreyfus et de la culpabilié d'Esterhazy.
Malgré les aveux du faussaire devant lui à la fin du mois d’août, puis son suicide et le scandale qu’il provoqua, Cavaignac continua à s’opposer à la révision alors que le gouvernement finissait par l'accepter. Il en démissionna le 3 septembre.
Et la presse de vouloir démontrer que le glorieux passé familial était en fait une suite d’abjections : Jean-Baptiste, le grand-père conventionnel devint un épouvantable violeur de filles de suppliciés, le père avait été un véritable boucher pour les Parisiens et lui, les surpassait tous… Il n'y avait guère que son oncle, Godefroy, qui conservait sa réputation d'autrefois.
Malgré cet épisode, il se présenta comme candidat aux élections présidentielles de 1899, sous l’étiquette républicain modéré, où il se prit une vraie déculottée. Figure emblématique du nationalisme, il fut également un membre important de la Ligue de la patrie française et un proche de l'Action française.
Il mourut l'année précédent la réhabilitation du capitaine Dreyfus.
Jacques Marie-Eugène Godefroy Cavaignacfut inhumé dans la sépulture familiale au cimetière de Montmartre
Il était le père de l'historien Eugène Cavaignac (1876-1969), acquis comme lui au nationalisme de droite et spécialiste des civilisations antiques, qui partage la même tombe.