Après avoir perdu son maître, le duc d’Anjou, on le soupçonne fortement d'avoir voulu trahir Henri III en passant au service de l'Espagne. A la même époque, en 1584, une mauvaise chute de cheval, le laissant « perclus et estropié » mit fin à sa vie d'aventures et de courtisan.
Ce fut le retour définitif au calme de sa propriété de Richement et de l’abbaye Saint-Pierre, dont il était abbé commenditaire depuis 1558 et qu’il sauva pendant les guerres de religion. Par deux fois les réformés vinrent au monastère qui leur ouvrit ses portes. Les réformés respectèrent l’abbaye, qui était alors riche et prospère.
Il acheva la rédaction de ses chroniques (récits de voyages, de guerre ou encore de biographies) pleines de verve, d’esprit et de cynisme, même si la morale et la vérité historique y sont un brin maltraitées. Mais la pureté du style reste sauve donnant une vision mordante et vive de son temps. Par la suite plus d’un écrivain allait s’en inspirer bien qu'il ait été catalogué d'écrivain « léger » pour son recueil Les vies des dames galantes. Un trait commun à ses écrits est son amour des femmes et notamment de celles qu'il a bien connues comme la reine Margot ou Catherine de Médicis. Il appréciait toutes les femmes qui composaient la cour de cette dernière au point d’en devenir leur historiographe.
A sa mort il fut inhumé dans la chapelle familiale du château de Richemont qu’il avait fait construire à partir de 1564 et dont la construction s’acheva vers 1610.