Bientôt accusé de d’accaparement et soupçonné de complot avec les émigrés, il quitta la France pour l’Angleterre puis l’Autriche où il se mit au service du comte de Provence futur Louis XVIII. Ce serait à cette occasion que l'empereur d'Autriche lui aurait conféré son titre de baron.
Actif agent royaliste, il revint ouvertement en France et se fit élire en 1797 au Conseil des Cinq-Cents. Mais après avoir échappé de peu au coup d’Etat du 18 fructidor, il trouva plus prudent se réfugier de nouveau en Autriche.
Après dix ans de service auprès de Louis XVIII et découragé par la victoire de Napoléon Ier à Wagram, le baron « abandonna » Louis XVIII pour se consacrer à l’agriculture en créant près de Vienne une ferme modèle. Enfin, pardonné par le roi pour sa défection entre 1809 et 1814, il revint en France. Louis XVIII le nomma directeur général, puis intendant de la Maison du roi sous la seconde Restauration, fonctions qu’il conserva jusqu’à sa mort.
Le baron d'André fut inhumé au cimetière du Père-Lachaise dans un caveau familial qui, ouvert au vent, commence lentement à se dégrader.