Certains historiens ont prétendu qu’il exerçait une véritable tyrannie artistique; vrai ou faux, comme "il vaut mieux d’adresser au Bon Dieu qu’à ses saints", on se disputait l'honneur de travailler avec lui et de suivre son sillage éclatant.
Une telle aura ne pouvait que susciter des jalousies. Le Brun était un favori de Colbert qui, à sa mort, en 1683, fut remplacé par Louvois qui devint le surintendant des Bâtiments, Arts et Manufactures de France lui permettant de prendre en main la construction du château de Versailles. Or, Louvois détestait Le Brun et tenta d’imposer Pierre Mignard à sa place. Malgré le soutien de Louis XIV, Le Brun en ressentit une vive amertume que le vieil homme entraîna dans son tombeau.
A la mort de Le Brun, Louvois se vengea de façon bien mesquine : il donna l'ordre de faire appliquer un scellé sur toutes les œuvres de Charles sous prétexte que la production du Premier Peintre devait être consacrée au Roi et non à d’autres. La plupart de ses œuvres furent donc saisies et rapatriées sous les voûtes du Louvre et rendues inaccessibles au public pendant des siècles. Il en résulte que partout dans le monde, sauf en France, la présence des œuvres de Le Brun est quasi inexistante alors que '' Le Brun fut surtout le premier artiste français qui rencontra un large succès à l'étranger, et c'est de son époque que date le prestige dont l'art français a joui pendant près de deux siècles dans le reste du monde''.
Mais Charles Le Brun tient dorénavant sa revanche : une récente étude a démontré que si la Joconde était l’œuvre la plus visitée au monde, la seconde était la Galerie des Glaces dont il créa les plafonds avec presque mille mètres carrés de peintures admirables.
Charles Le Brun fut inhumé en l’église Saint-Nicolas-du-Chardonnet où reposait sa mère († 1668) dont le tombeau fut exécuté, sur ses dessins, par Tubi et Collignon.
Son tombeau fut, lui, réalisé par Coysevox, sur les instructions de sa veuve qui lui survécut neuf ans avant d’aller le rejoindre.