Après avoir jalousé sa sœur, ce fut au tour de Louise de Lavallière dont elle enviait la liaison avec le roi. Dotée d’un mari aussi complaisant qu’il était vaillant soldat, elle prit pour amant le marquis de Vardes avec lequel elle décida de dénoncer l’adultère royal. De concert, ils écrivirent à la reine une lettre supposée envoyée par le roi d’Espagne. Mais les comploteurs en furent pour leurs frais : la lettre fut remise au roi lui-même, qui identifia très vite les auteurs de la machination. Tandis que Vardes était emprisonné pour deux ans, Olympe fut exilée avec son mari –totalement innocent dans l’affaire- dans le gouvernement que celui-ci possédait en Champagne. De retour à Paris, elle y mena une vie éloignée de la cour pour cause de plusieurs maternités.
Veuve (1674), alors qu’elle s’était faite oubliée, elle revint sur la scène avec « l’affaire des poisons » (1679). Accusée d’avoir empoisonné son mari, mort brutalement, d’avoir voulu faire de même avec Mlle de Lavallière par crainte qu’elle ne soit rappelée par le roi, etc., plutôt que la Bastille Olympe préféra s’enfuir aux Pays-Bas (1680), justifiant son départ par des ennemis bien placés pour la perdre.
Après six ans dans ce pays, elle partit pour l’Espagne où elle espérait pouvoir marier son deuxième fils, Philippe de Savoie (1659-1693). Installée à Madrid, où elle recevait des personnages peu recommandables, il y resta jusqu’en 1692 date à laquelle elle partit pour Bruxelles où elle connut une existence plus calme, entourée de la déférence générale que lui valait l’excellente réputation de son cinquième fils, le prince Eugène.
Pourtant, quand elle mourut dans des « conditions étranges » que je n’ai pas réussi à définir, son confesseur, appartenant à l’ordre des Minimes, fit transporter le corps nuitamment et en grand secret dans l’église du couvent des Frères Minimes où elle fut inhumée sans aucune pierre tombale. Les mauvaises langues disent que le couvent ayant été construit à l’emplacement d’une ancien bordel, la sépulture pouvait se passer d’épitaphe…
Le couvent a disparu mais l’église Saint-Jean-et-Etienne-aux-Minimes, qui lui était attachée, existe toujours.