Se portant alors volontaire dans la garde nationale parisienne (1792), il remonta rapidement les échelons de la hiérarchie militaire pour devenir aide de camp d’Aubert du Bayet dans l’ouest, il suivit ce dernier jusqu’à Constantinople. De retour en France (1797), il prit ses premiers commandements et se distingua outre Rhin.
Mais sa carrière démarra vraiment lorsque Talleyrand le chargea à Saint-Pétersbourg d’une mission démontrant déjà la confiance que lui et Bonaparte lui portaient. Ce dernier, appréciant chez Caulaincourt son esprit d'ordre, son zèle, sa méticulosité et sa prestance, s’était entiché du personnage qu’il fit son aide de camp (1802), puis son grand écuyer (1804). A ce titre, il accompagna son maître dans ses différentes campagnes à travers l'Europe. Entre temps, chargé de diverses missions dans le cadre de ses fonctions, sans y prendre part directement, il participa à l’enlèvement du duc d'Enghien et ne put que déplorer son exécution quand il l’apprit.
Général de division (1805), il servit à l’état-major de la Grande Armée, puis fut nommé ambassadeur en Russie (1807) où la présence d'un homme de confiance pour l’Empereur était indispensable. Pour augmenter son prestige, il fut fait duc de Vicence l’année suivante.
En 1811, conscient que son influence se délitait, il demanda son rappel en France, réintégra sa fonction de grand écuyer et reprit ses déplacements avec l’Empereur dont il devint le confident.
Malgré de nombreuses divergences de vues avec son maître, il resta à ses côtés jusqu’au bout. Sans cacher pourtant son pessimisme et ses profondes réticences à l’idée d’assumer une charge aussi lourde, il accepta de représenter Napoléon lors des négociations diplomatiques de la fin de l’Empire : au congrès de Prague (1813) et à celui de Châtillon (1814). Contrairement à beaucoup d’autres, il resta à Fontainebleau et assuma ses fonctions jusqu’au départ de Napoléon pour l’île d’Elbe.
Durant les Cent-Jours, redevenu grand écuyer et ministre des Affaires étrangères, ce ralliement lui interdit par la suite toute reconversion politique au sein du régime de la Restauration. Sa carrière politique s’acheva au même moment que celle de Napoléon.
Le nom de Caulaincourt gravé sur l’arc de triomphe de l’Etoile.
Armand Louis de Caulaincourt fut inhumé au cimetière du père-Lachaise où sa tombe, surmontée d’une colonne coiffée d’une urne, est protégée d’une grille.