Rome étant alors déchirée par les luttes de factions, Clément V s’installa d’abord à Poitiers avant de gagner les rives du Rhône en 1309 pour se fixer non pas temps à Avignon que dans la campagne du Comtat qui appartenait à la papauté.
Mais Clément V c’est surtout, et avant tout, le pape du procès des Templiers, celui qui, poussé par le roi Philippe IV, participa de façon impardonnable à l’anéantissement de cet ordre. Lui qui, bien que Français, ne s'estimait pas inféodé au roi de France allait pourtant en faire le jeu.
En louvoyant, le pape croyait avoir réglé l’épineux contentieux de « l’attentat, ou de la gifle d’Anagni » entre la papauté et le roi de France (► Boniface VIII). Le roi voulait plus, il exigeait la condamnation posthume de Boniface VIII ! Hors de question dans l’esprit du pape. C’était compter sans l’intelligence et la ruse du roi de France.
Dans la lignée des croisades, celui-ci affirma vouloir en organiser une ; il mettait toutefois une condition : la suppression des ordres militaires internationaux, accusés d’avoir failli, au profit d’un ordre nouveau placé sous son autorité. Tout en renâclant - mais comment se passer du soutien des Français dans une croisade ? - Clément V ouvrit une enquête sur le comportement des teutoniques.
Les dénonciations calomnieuses portées en France, dès 1305, contre les templiers donnèrent à Philippe IV l’occasion d’agir : il fit arrêter tous les templiers du royaume le 13 octobre 1307. Clément V protesta mais, impressionné par leurs premiers aveux et voulant reprendre l’initiative, il ordonna l’arrestation de tous les templiers de par le monde !
Insuffisant pour Philippe IV qui liait le procès posthume de Boniface VIII au cas du Temple. Il poussa la pression à son maximum. Tentant de repousser les échéances, Clément V lança deux procédures distinctes. La première permit d’éviter la condamnation de Boniface VIII et la seconde aboutit à la suppression de l’ordre du Temple par une bulle que Clément V décida seul.
Au prix du sacrifice de cet ordre, la mémoire de Boniface VIII était sauve. Quant à la croisade promise par le roi de France, Clément V l’attend encore…
Pratiquant le népotisme, d’une manière générale, l’ensemble de l’œuvre de Clément V ne refléta rien de très glorieux
Le 18 mars 1314, à Paris, alors les flammes du bûcher le dévoraient, Jacques de Molay, dernier maître du Temple, tout en le maudissant, ne lui avait-il pas prédit sa mort dans le mois qui venait ? Le 20 avril 1314, Clément V mourait des suites d’une maladie qui l’avait fait souffrir durant tout son pontificat. Curieusement, par deux fois les circonstances allaient aussi le confronter aux flammes.
De Roquemaure dans le Gard, où il décéda, sa dépouille fut amenée à Carpentras où se tenait un conclave. On dressa une chapelle ardente. Des tapisseries s’enflammèrent et lui brûlèrent les pieds. La présence de gascons, venus réclamer son corps, déclencha une bataille en ville qui fit fuir les cardinaux.
Enfin, en août, Clément V rejoignait sa province d’origine dans la très belle collégiale du petit village d’Uzeste dont il avait fait reconstruire l’église et dotée d’un chapitre de chanoines.
Il fut inhumé dans la crypte en attendant son tombeau, commandé à l’orfèvre d’Orléans Jean de Bonneval, qui ne fut terminé qu’en 1359.
En 1577, les Huguenots de Marmande profanèrent sa sépulture. Ils mutilèrent le visage du gisant et jetèrent ses restes avec ses habits pontificaux… dans un feu.