Adolf Hitler le nomma général de brigade SS, et Himmler lui confia la direction de la SS dans la partie autrichienne du Reich. Six mois plus tard,il fut promu au grade de général de division SS et devint, à la même époque, membre du Reichstag. Menant l'existence d'un parfait fonctionnaire SS, il fut successivement commandant en chef des SS et de la police pour les régions de Vienne et du Haut et Bas-Danube puis, en avril 1941, général de la police. Ainsi était-il, mais sans le même pouvoir personnel, une sorte d’Himmler autrichien.
Le 30 janvier 1943, il devint chef du SD (service de sécurité) et succéda à Himmler comme chef du RSHA ou Reichssicherheitshauptamt (Office central de la sécurité du Reich), sorte d'organisation nébuleuse regroupant tous les services de contrôle et de répression de l'état policier nazi y compris la Gestapo.
Ainsi, et entre autres, fut-il directement responsable des quelques 600 000 exécutions à l’arrière du front Est, perpétrées par les Einsatzgruppen.
En avril 1945, Hitler l’envoya en personne mater une insurrection à Vienne, mais la ville tomba aux mains des Russes avant son arrivée.
Plutôt que de retourner à Berlin, Kaltenbrunner trouva alors plus prudent de se réfugier avec sa maîtresse dans la forteresse d’Altaussee où il retrouva quelques camarades dont Eichmann. Il aurait demandé à ce dernier de quitter les lieux en raison de la menace que sa présence faisait peser sur le groupe.
Finalement, il y fut arrêté le 12 mai 1945 par les Américains. Il avait tout organisé pour cacher son
identité : pour l’anecdote, son sceau personnel, sur lequel était gravé « chef de la police de sécurité et de la SD », fut retrouvé en 2001 dans un lac alpin où il l’avait très probablement jeté.
Prétendant être médecin, ce fut sa maîtresse qui, se précipitant vers lui en l’appelant par son nom, permit aux Alliés de l'identifier. Il fut alors transféré au Royaume-Uni pour y être interrogé avant d’être englobé dans le procès de Nuremberg.
Pour résumer, Kaltenbrunner avait chapeauté des meurtres de masses de civils dans les pays occupés, exécutions d’indésirables à titre racial ou politique, emprisonnement de prisonniers de guerre dans des camps de concentration avec exécution d’un nombre certain, établissement de camps de concentration pour esclavage et meurtres de masses, déportation de civils des zones occupées, exécution de commandos capturés et de parachutistes avec protection de ceux qui les lynchaient, punition par procédures criminelles spéciales et méthodes sommaires de civils des territoires occupés, spoliation de biens publiques et privés, persécutions contre les Juifs, les Tsiganes, les églises, etc.
Cela n’empêcha pas son avocat de demander l’acquittement pur et simple de son client pour raison de santé, client qui se trouvait dans un hôpital militaire au début du procès.
Il avait déjà tout nié, même sa propre signature sur des documents accablants. De retour sur le banc des accusés, le seul et unique responsable de toutes les atrocités qu’on lui imputait était Himmler. Lui n’était concerné que par l’espionnage et l’intelligence service…
Si le tribunal le reconnut non coupable pour l’acte d’accusation de conspiration pour agression, il retint l’acte d’accusation de crimes de guerre et crimes contre l’humanité. Condamné à mort par pendaison, il fut exécuté le 16 octobre 1946 comme tous les autres.
Ses dernières paroles furent : « J’ai aimé mon peuple allemand et ma patrie avec un cœur chaud. J’ai fait mon devoir selon les lois de mon peuple et je suis désolé, cette fois, qu’il soit dirigé par des hommes qui n’étaient pas des soldats et je n’ai pas connaissance de ces crimes commis.
Allemagne, bonne chance! »