Une telle bonne volonté ne fut pourtant pas récompensée comme il l’espérait. Ses excès de tous poils finirent par lui aliéner quelques proches d’Hitler, dont Göring qui clama interdire à ses hommes de lire le journal.
Accusé de profiter de ses fonctions au sein du parti pour s’approprier un nombre conséquent de biens confisqués aux Juifs, l’ensemble de son comportement lui valut d’être démis de toutes ses charges officielles en 1940. Il fut néanmoins autorisé à continuer Der Stürmer, conserva de bonnes relations avec Hitler et s’occupa de ses terres.
Il fut arrêté le 23 mai 1945 par les Américains à Waidring, un village autrichien. Après voir prétendu se nommer Joseph Sailer et être peintre, il finit par avouer sa véritable identité.
Il n’était pas militaire, n’avait pas planifié l’invasion d’autres nations ou participé à l’holocauste mais son rôle primordial dans l’incitation à l’extermination des Juifs se suffisait à lui-même pour l’englober dans le procès de Nuremberg.