Au début de la Seconde Guerre mondiale, il en dirigeait le Département de recherche et fut très actif à l’élaboration de la bataille d’Angleterre ainsi qu’à la campagne de Russie.
Le 26 avril 1945, alors que les Russes cernaient Berlin et qu‘ils se rapprochaient dangereusement du Bunker de la Chancellerie où se terrait Hitler, Greim, emmené dans un petit avion piloté par Hanna Reitsch, atterrit près de la porte de Brandebourg. Il réussit à atteindre le Bunker et essaya de persuader le Führer de s’échapper de son refuge. Hitler refusa et le promut commandant en chef de la Lufwaffe ainsi que Generalfeldmarschall, poste dont il avait démis Göring depuis qu'il essayait de s’entendre avec les Alliés. Avant lui, seul Göring avait occupé ce poste prestigieux, promotion pour le moins dérisoire.
Le 28 avril, sur demande d’Hitler, Greim, toujours en compagnie d’Hanna Reitsch, réussit à quitter Berlin, au nez et à barbe des Russes pourtant tout proches.
Il fut capturé le 8 mai 1945 par les Américains qui l’emmenèrent à Salzbourg et fut prévu dans le programme d’échange de prisonniers avec les Russes.
Greim, qui avait participé à la campagne de Russie, craignant la torture et son exécution des mains du NKVD, préféra se suicider sur ces derniers mots : "Je suis le chef de la Luftwaffe sans Luftwaffe". Délestée de ses décorations, volées par des gardes américains, sa depouille fut inhumée dans la commune de son trépas où sa sépulture existe toujours.