Le 4 mai, il quitta Tombouctou qui pour lui n’avait plus rien de mythique. Son retour, tout aussi rempli de périls que son aller, l’amena, avec une caravane d’esclaves, à Tanger d’où il embarqua pour Toulon. Il rentrait en France après seize ans d’absence.
Le 5 décembre 1828, à Paris, en présence de Georges Cuvier, la Société de Géographie lui fait fête et lui remit la somme de 10.000 francs promise au premier Européen qui ramènerait une description de Tombouctou. Il était surtout le premier Européen revenant vivant de cette périlleuse aventure qu’il relata dans un excellent journal de voyage. Après cette gloire éphémère, ce fut le dédain. Contesté par les Anglais, sensible aux attaques de ses détracteurs, il clôt ainsi son journal : « Quoi qu'il en soit, j'avouerai que ces injustes attaques me furent plus sensibles que les maux, les fatigues et les privations que j'avais éprouvés dans l'intérieur de l'Afrique ».
A défaut d’être un savant, son sens de l’observation s’est révélé remarquable et son témoignage, qui fut validé trente ans plus tard par l’Allemand Heinrich Barth, reste fondamental.
Il se retira dans son Saintonge natal en rêvant à d’autres aventures. Mais, son périple avait affaibli son organisme qui ne résista pas à une maladie contractée en Afrique. "Tambouctou", gravé sur sa tombe, s'efface peu à peu.
Vite oublié dans son tranquille petit cimetière de province, ce n’est que récemment qu’un hommage lui fut enfin rendu en le considérant comme le premier « africaniste », respectueux des hommes et civilisations qu'il avait rencontrés.
D’autres continuèrent à tenter l’entreprise, mais les horreurs dont étaient remplis leurs récits incitèrent certains gouvernements à organiser de vraies expéditions.