Après l’Afrique et Moyen-Orient, il partit au Tonkin afin d’y régler une situation préoccupante aux frontières. Là, appliquant la tactique dite de la « tache d’huile », il tenta d’amener les populations à accepter la présence française en luttant contre les incursions étrangères et les pillards tout en développant le petit commerce local par l’agriculture, l’ouverture de route, la construction de ponts, etc., et réussit à détruire, au moins en bonne partie, la piraterie chinoise.
Gouverneur général de Madagascar de 1896 à 1905, il y fit preuve d’autorité en supprimant la féodalité en menant de front conquête et administration.
Rentré en France, mais souffrant d’un état de santé fragile depuis des années, s’il accepta de devenir membre du Conseil supérieur de la guerre (1908), il laissa à Joseph Joffre le commandement en chef des armées française (1911).
Il venait de prendre sa retraite lorsqu’éclata la Première Guerre mondiale. Nommé gouverneur du camp retranché de Paris, il fit placarder sur les murs cette affiche restée célèbre : « J’ai reçu le mandat de défendre Paris contre l’envahisseur. Ce mandat, je le remplirai jusqu’au bout. »
Dans la nuit du 3 au 4 septembre 1914, Joffre lui demanda de préparer ses meilleures troupes pour intervenir dans la direction de Meaux et de renforcer la 6ème armée du général Maunoury. La bataille de la Marne pouvait commencer. Mais le 6 septembre, Maunoury fléchissait. Pour le soutenir, Gallieni prit l’initiative de mobiliser les taxis parisiens afin de conduire à Nanteuil la 7ème division d’infanterie. Cette action permit à Maunoury de tenir et de confirmer la victoire de cette bataille. Même si, en réalité, l’essentiel des troupes voyagea en train ou en camion cette remarquable initiative marqua les esprits de son époque et qui n’a jamais entendu parler des « Taxis de la Marne » ?
Néanmoins, celui qui sortit auréolé de la gloire de cette victoire n’en fut pas moins Joffre avec lequel Gallieni entra en conflit en évoquant publiquement les erreurs commises à Verdun par le généralissime. Depuis, la polémique n’a cessé n’exister entre les clans supporters de l’un ou de l’autre.
Appelé par Aristide Briand au ministère de la Guerre (1915) puis démissionnaire, Gallieni mourut l’année suivante victime d’un cancer de la prostate et des suites d’une intervention chirurgicale dans une clinique de Versailles. Il fut élevé au titre de maréchal à titre posthume en 1921.
Après des obsèques nationales et selon sa volonté, Joseph Gallieni fut inhumé au cimetière Alphonse Karr de Saint-Raphaël auprès de sa femme. Sur sa tombe, un médaillon en bronze qui n’est pas sans rappeler sa médaille commémorative de la guerre signée par le sculpteur Auguste Maillard (1864 – 1944).