Convaincu que le peuple palestinien devait prendre en main son propre destin, il milita aux côtés des Frères musulmans égyptiens, sans jamais rejoindre leurs rangs.
Elu président de la Ligue, puis de l’Union des étudiants palestiniens (1952), l’un des premiers laboratoires de la mobilisation politique palestinienne, muni de son diplôme d’ingénieur, il se rendit ensuite au Koweït où il créa, en 1959, une organisation de résistance connue sous le nom de Fatah, le Mouvement de Libération de la Palestine.
L’Organisation de Libération de la Palestine (OLP), organisation palestinienne politique et révolutionnaire, fut créée en 1964. Elle représentait un mouvement de résistance de tous les Palestiniens et comportait plusieurs organisations palestiniennes, dont le Fatah, qui en prit le contrôle cinq ans plus tard. Cette organisation avait pour objectif la libération de tout le territoire palestinien de l’entité sioniste par la lutte armée. Cependant, cette dernière étant remise en cause, Arafat se tourna progressivement vers la politique du dialogue, privilégiant ainsi la volonté d’obtenir une reconnaissance internationale de la cause palestinienne. À cet égard, l’itinéraire politique d’Arafat commença réellement en 1969, lorsqu’il devint le président du Comité exécutif l’OLP et par sa prise de parole aux Nations Unies (nov.1974).
Après de nombreuses démarches diplomatiques, désormais sa lutte pour les droits des Palestiniens se traduisit par sa volonté de reconnaître l’existence d’un Etat israélien, mais aux côtés d’un État palestinien sur les territoires occupés en 1967 (Cisjordanie, Bande de Gaza, Jérusalem-est). Il présida l’Autorité palestinienne mise en place grâce aux accords d’Oslo de 1993 et 1995, tentative de paix historique pour laquelle lui et Yitzhak Rabin, premier ministre israélien, reçurent le prix Nobel de la Paix en 1994.
Depuis les accords d’Oslo, la Mouqata'a désignait les bureaux gouvernementaux de l'Autorité palestinienne et le quartier général de l'administration locale palestinienne. En 2002, lors de la deuxième intifada (2000-2004), l’armée israélienne détruisit la plupart des Mouqata'a de Cisjordanie. Celle de Ramallah ne fut que partiellement détruite avant d'y établir un siège du quartier général occupé par Arafat. Ce fut là le camp retranché qu'il occupa lorsque Ramallah fut assiégée par l’armée israélienne durant plus de deux ans avant que, gravement malade, il ne soit contraint de quitter son refuge pour l’hôpital de Clamart en France (28 oct.) où il mourut deux semaines plus tard.
Dans le respect de l’usage musulman d’une inhumation le lendemain du décès, il fallait faire vite. Le jour même, à l'issue d'une brève cérémonie officielle sur la base aérienne militaire de Villacoublay , la dépouille du raïs s’envola pour Le Caire où lui furent réservées des funérailles « militaires » en présence de nombreux dignitaires étrangers avant son départ pour Ramallah. Israël ayant refusé sa dernière demeure à Jérusalem, les dirigeants palestiniens choisirent de l’inhumer dans son ancien QG de la Mouqata'a de Ramallah avec de la terre prélevée sur l'Esplanade des Mosquées de Jérusalem. En attendant la construction de son mausolée, il fut enseveli dans la cour nettoyée de ses décombres.