Il se maria deux fois, avec :
►Lady Catherine Montagu (1808-1834), dont il eut deux enfants morts l’année de leur naissance.
-Louise Walewski (1832-1832 ) et Georges Walewski (1834-1834) qui fut inhumé près de l’ancienne sépulture de Marie Walewska et transféré dans la chapelle Ornano en novembre 1866
►Marie-Anne di Ricci (1823-1912), dont il eut quatre enfants
-Isabelle Walewski (1847-1847) qui inhumée près de l’ancienne sépulture de Marie Walewska et transférée dans la chapelle Ornano en novembre 1866
-Charles Colonna Walewski (1848-1916),
Pendant la guerre de 1870, il prit du service dans l’armée active et termina sa carrière avec le grade de lieutenant-colonel.
Entré au Crédit Lyonnais (1905), il y fut nommé successivement sous-directeur puis directeur du personnel du siège central parisien. Au début de la Première Guerre mondiale, âgé de 66 ans, il demanda à partir pour le front. Il fut rapidement désigné pour le commandement d’un régiment d'infanterie territoriale dans la zone de guerre où qu'il contracta une affection respiratoire à laquelle il succomba. Inhumé dans la chapelle Walewski
-Catherine Walewski (1849-1927)
-Eugénie Walewski(1856-1884)
Il entretint également une relation avec la tragédienne Rachel dont il eut un fils, Alexandre Walewski (1844-1898), qui repose aussi avec son père.