Le bel esprit olympique connut ses premiers scandales dès l’été en 1908 pour les jeux de Londres où les hôtes voulaient que les jurys soient exclusivement composés d'Anglais…Président du CIO depuis 1896, Coubertin prononça son discours sur les « Trustees » de l'Idée Olympique dans lequel il expliqua que c'était la cooptation qui garantissait l'indépendance du CIO. Puis, dans cette même allocution, reprenant la maxime d’un évêque anglican de Pennsylvanie, il rappela que « L’important dans ces Olympiades, c’est moins d’y gagner que d’y prendre part » devenu « L’important est de participer ».
Conçu par Coubertin, le prototype du drapeau olympique fut fabriqué sur ses indications par le magasin Au bon marché à Paris et présenté pour la première fois le 17 juin 1914 à Raymond Poincaré, alors président de la République.
Depuis 1908, le baron séjournait à Lausanne où, sur son instigation et en raison de la Première Guerre mondiale, les quartiers généraux du CIO furent transférés en terrain neutre.
Il quitta ses fonctions de président du CIO en 1925. Vint alors la période de l’amertume qui l’accompagna durant les dernières années de sa vie. Ses successeurs à la présidence du comité, le tenaient écarté de son œuvre et s’il réussit à s’impliquer dans l'organisation des Jeux de Berlin en 1936, programmés avant l’arrivée d’Adolf Hitler au pouvoir, il ne put que déplorer la récupération politique si loin de son idéal.
Ruiné, avec un enfant handicapé, il mourut l’année suivante victime d'une crise cardiaque. Maigre consolation, en 1935, il fut lauréat du prix Guy-Wildenstein de l'Académie des sports.
On lui doit aussi, en 1911, la création d’une association scoute interconfessionnelle, les Éclaireurs français. En 1964, elle fut réunie à celle des Éclaireurs de France, créée aussi en 1911 par Nicolas Benoît, pour former, avec la Fédération française des éclaireuses, les Éclaireuses éclaireurs de France.
Pierre de Coubertin fut inhumé au cimetière du Bois-de-Vaux de Lausanne où l’épitaphe de sa tombe, surmontée des anneaux olympiques rappelle qu’il fut le rénovateur des Jeux.
Dans le respect de ses dernières volontés, son cœur fut inhumé séparément dans un monument près du sanctuaire d’Olympie.