Son invalidité ne l’empêcha pas de servir tout aussi brillamment pendant la Guerre de Sept ans. Promu lieutenant général, de nouveau grièvement blessé à Clostercamp (1760), il fut contraint de se rendre et fut fait chevalier du Saint-Esprit après la paix.
En 1780, sur proposition de Necker, il fut nommé ministre de la Guerre et accomplit à ce poste une œuvre, controversée, de réorganisation. Comme tous ses prédécesseurs, il créa un corps permanent d’officiers d’état-major, réorganisa l’artillerie et le génie, modifia l’infanterie et la cavalerie. Bien qu’il ne soit pas certain qu’il l’ait approuvé, sous son nom fut promulgué l’ordonnance réservant les postes d’officiers à la noblesse, mesure qui eut par la suite de lourdes conséquences. Il se montra aussi favorable à l’intervention française en Amérique. Il fut fait maréchal en 1783.
En 1787, Ségur céda son poste au cardinal de Loménie et se retira de la vie politique en assistant en témoin aux évènements du début de la Révolution. Privé de ses titres et pensions, il fut détenu plusieurs mois sous la Terreur. Ayant survécu, à partir de 1796, il participa, au côté de ses deux fils, aux activités de la joyeuse société chantante des dîners de Vaudeville
Bonaparte, alors Premier Consul, lui fit donner un traitement de retraite en 1800. Un peu juste pour le maréchal qui mourut l’année suivante dans la gêne.
Philippe Henri, marquis de Ségur fut inhumé au cimetière de Montmartre à une époque où celui-ci n’avait pas encore la configuration actuelle. Par ses dates, sa tombe appartient aux plus anciennes sépultures du cimetière. La chapelle actuelle, au nom de Villeneuve, contient aussi le coeur du beau-fils du maréchal, Louis de Villeneuve, aspirant de marine qui trouva la mort à bord du vaisseau Henri IV en 1854.
Jouxtant cette chapelle, se trouvent d'autres sépultures familiales.