A la mort de ce dernier (1701), il cessa toutes les démarches diplomatiques entreprises pour le compte du roi déchu.
Entre temps, ayant rejoint les rangs de l’armée française, il reçut ses lettres de naturalité (1703), combattit au Portugal pour Philippe V d’Espagne, puis fut envoyé réduire les Camisards, mission qu’il accomplit avec une brutalité marquée.
Fait maréchal de France en 1706 après avoir pris Nice, commencèrent alors les brillantes années de sa carrière. Se battant sur plusieurs théâtres, en Flandre, dans le sud-est de la France, etc., on retiendra surtout ses remarquables victoires espagnoles qui permirent à Philippe V de conserver son trône très menacé. Outre lui avoir conféré le maréchalat, Louis XIV éleva sa terre de Warty en duché-pairie sous le nom de Fitz-James et lui offrit le gouvernement du Limousin.
Rentré au Conseil de régence après la mort de Louis XIV, il fit de nouveau ne brève campagne en Espagne (1718), mais cette fois contre Philippe V qui ambitionnait de placer la couronne de France sur sa tête (complot d’Alberoni ou conspiration de Cellamare). En lui donnant le commandement en chef des provinces de Guyenne, Béarn, Navarre, Limousin, Auvergne, Bourbonnais, Forez, pays de Foix et Roussillon, le Régent lui confia l’équivalent d’une vice-royauté sur un cinquième de la France. Il fut également nommé gouverneur de Strasbourg.
En 1733, il reprit les armes au début de la guerre de succession de Pologne. Il assiégeait Philippsbourg (Moselle) quand, en inspectant des tranchées, exposé aux canons anglais et français, il fut tué par un boulet sans qu’on sache de quel côté il avait été tiré.
Deux jours plus tard, transporté à Strasbourg, son corps embaumé fut inhumé en la chapelle Saint-Laurent de la cathédrale au son de toutes les cloches et les troupes rangées en haies d’honneur. Il y resta jusqu’au 7 décembre, date à laquelle il prit le chemin de Paris.
Dans son testament, il avait souhaité reposer au couvent des Bénédictins anglais à Paris auprès de son père et de son fils, Jacques de Fitz-James (1702-1721). Son vœu fut-il respecté ? Si la plupart des historiens s’accorde sur ce point, une voix dissonante pense qu’il fut inhumé au Collège des Ecossais où absolument rien n’atteste de sa présence alors que les inhumations y sont très bien renseignées. Bref, aucun élément sérieux n’autorise à ce jour à envisager un autre lieu de sépulture que celui qu’il avait élu, même si aucune trace, comme une simple épitaphe, n’a été conservée, ce qui, hélas, est un grand classique. Les tombes furent profanées à la Révolution et nul ne sait ce qu’il advint des corps princiers, probablement jetés dans une fosse commune. Seul reste le mystère entourant la dépouille de Jacques II.