Ministre de l’Armement, presque par hasard, à partir de 1942, son efficacité, parfois controversée par la suite, permit une notable augmentation de la production jusque dans la seconde moitié de l'année 1944. Malgré la volonté de ses rivaux de le supplanter, il restait indispensable à Hitler qui ne s’en sépara pas. Car il faut bien admettre qu’au milieu du sérail de débiles ambitieux qui entourait Hitler, Speer, intelligent, était à part. Néanmoins, il dut s’incliner au terme de la guerre d’influence qui se joua entre lui et Goebbels auquel il fut subordonné.
Conscient que la guerre était perdue, opposé à la politique de terre brûlée dans les zones occupées et en Allemagne, il défendit l'idée de sauvegarder une infrastructure économique pour la reconstruction et fit adhérer Hitler à son idée en lui faisant espérer une reconquête des bassins industriels de la Ruhr et de la Silésie. Alors que le régime nazi s'effondrait, après une dernière rencontre avec le Führer à Berlin, puis son suicide, il se mit au service de Dönitz et joua un rôle significatif dans cet éphémère régime.
Capturé par les Américains le 15 mai 1945, il accepta de coopérer en fournissant de nombreuses informations.
Détenu dans plusieurs centres d’internement, il fut englobé dans le procès de Nuremberg sous quatre chefs d’inculpations : participation à un complot, crimes contre la paix, crimes de guerre et crimes contre l'humanité. Mais, par stratégie et/ou honnêteté, Speer fut le seul à accepter la responsabilité des crimes du régime nazi.
Condamné à vingt ans d’emprisonnement, il effectua sa peine à la prison de Spandau où il rédigea ses Mémoires.
Libéré le 1er octobre 1966 sous un flot médiatique, il abandonna l’architecture pour se consacrer à l’écriture d’ouvrages comme Au cœur du Troisième Reich (1970), dont le succès lui rapporta d’importantes sommes d’argent qu’il redistribua en partie à des organisations caritatives juives. S’il ne pouvait avoir tout ignoré de la Shoah, ou d’ autres atrocités du régime, comme il prétendait, il n’y avait pas directement pris part.
Ses relations privilégiées avec Hitler et ses rapports avec les principaux acteurs du régime dans lequel il joua un rôle prépondérant en firent un témoin direct aussi rare que fascinant qu’on s’arrachait.
N'ayant cesse de chercher à s’amender, exposant ses remords jusque dans les journaux à sensation de Londres, où il mourut, Speer réussit à se faire presque pardonner de l'opinion.
Albert Speer fut inhumé dans un cimetière d'Heidelberg où sa tombe existe toujours.