Grâce aux largesses de Philippe III, il accumula une fortune considérable par les nombreux revenus de fiefs importants mais aussi par les généreux pots-de-vin que lui octroyèrent ceux qui espéraient profiter de son influence auprès du roi.
Pour consolider cette ascension, il rechercha des alliances matrimoniales, d'abord pour lui, puis pour ses enfants quand il en eut. Des membres de sa famille plus éloignés bénéficièrent également de son népotisme.
Conseiller du roi, malgré l’avis des vieux conseillers de Louis IX gardés en place, il semble que celui de La Brosse soit devenu prépondérant.
L’homme était habile. Mais sa réussite insolente, due à son emprise sur le monarque, ne pouvait que susciter de lourdes inimitiés auprès des barons pour qui le roi devait s’appuyer sur les princes et nobles et non sur ce parvenu. Ses ennemis se faisaient de plus en plus nombreux et leur hostilité de plus en plus ouverte.
Le second mariage de Philippe III avec Marie de Brabant, auquel il s’était opposé, ne fut pas une bonne chose pour le chambellan qui vit son crédit s’affaiblir au profit de la nouvelle reine jalouse de l’affection entre les deux hommes. Et puis tout bascula.
En 1276, Louis, le fils aîné de Philippe et d’Isabelle d’Aragon mourut subitement, manifestement empoisonné. Fort de sa position, La Brosse osa tenter de discréditer Marie de Brabant en laissant entendre qu’elle n’était pas étrangère à la mort de l’héritier du trône afin qu’il échoit à son propre fils. La reine, outrée, riposta en accusant le chambellan des mêmes faits . Pour se sortir de ce mauvais pas, par l'intermédiaire de son cousin, évêque de Bayeux, il essaya de suborner une béguine du diocèse de Liège qui prétendait avoir des révélations sur la mort du jeune prince. L’évêque tenta de lui faire dire que la mort du prince était l'œuvre de la « clique brabançonne » qui entourait la reine. Mais, lorsqu’en novembre 1277, l’évêque de Liège interrogea à son tour la béguine, la manœuvre du chambellan et de son cousin apparurent de façon évidente.
Malgré cette grossière manipulation, l’affront fait à la reine et l’offense ressentie par toute la noblesse, il en fallait plus aux yeux du roi pour le perdre. Il fallait plus grave. On trouva.
Dans le cadre de la campagne visant à envahir la Castille, tout à coup, Philippe III voulut négocier avec Alphonse X de Castille. Ce brusque revirement aurait été l’œuvre d’une manipulation de Pierre de la Brosse : une haute trahison. Vraie ou coup monté par les barons de la Cour dont certains étaient les débiteurs du chambellan, il fut arrêté en janvier 1278 et mené loin de la capitale à Janville (Eure-et-Loir). Craignait-on que le roi ne le sauve ?
Sans procès, il fut pendu au gibet de Montfaucon le 30 juin. On ne pouvait exécution plus dégradante, la première connue à Montfaucon.
Sa chute entraîna celle de son clan. Ses descendants récupérèrent une partie de leurs biens sous Philippe IV. Pierre de la Brosse resta-t-il pourrir sur place jusqu’à ce que ses os tombent dans la fosse ? C’est bien probable.
Son nom (de la Broce) apparaît dans la Divine comédie (Purgatoire, Chant VI)