Arrêté, son emprisonnement en divers lieux fut l'occasion de rencontres : Fritz Frommer, un autre escroc allemand, ainsi que deux Français incarcérés pour trafic de devises : Roger Million et Jean Blanc qui furent libérés avant lui. Elargi à son tour en bénéficiant d'une remise de peine pour bonne conduite, Weidman les rejoignit cinq mois plus tard à Paris (mai 1937).
En théorie, son casier judiciaire lui interdisait pourtant de quitter l’Allemagne. Néanmoins, la Gestapo lui délivra un passeport sans que jamais, par la suite, la police française ne puisse établir s’il avait été, ou pas, missionné pour éliminer des opposants au régime nazi en France, parti nazi auquel il avait adhéré dès la première heure.
Quoiqu’il en soit, ayant retrouvé Million et Blanc, les trois complices décidèrent de se lancer dans l’enlèvement à répétition. L’ouverture de l’Exposition universelle offrant un choix conséquent de riches victimes potentielles, sous le nom de « Karrer », Weidman utilisa son physique de beau ténébreux et sa maîtrise de l’anglais pour se faire engager comme interprète. Dans le même temps, la bande loua une villa, La Voulzie, à La Celle-Saint-Cloud, pour y séquestrer ses victimes.
La première d’entre elles fut Jean de Koven, une danseuse américaine tombée sous le charme de Weidman. Disparue le 27 juillet 1937, elle avait été amenée à La Voulzie dans l’espoir d’une rançon. Lors de ses aveux, Weidman expliqua qu’il l'avait étranglée alors qu’elle quittait naïvement la maison.
La deuxième, Jeannine Keller, était une femme de chambre recrutée comme dame de compagnie par une fausse annonce. Retenue de force à La Voulzie, Weidman et Million lui volèrent le peu d’argent et de bijoux qu’elle possédait avant de l’assassiner d’une balle de revolver dans la forêt de Fontainebleau.
Moins de deux semaines plus tard, le 16 octobre, c’était au tour de Roger Leblond, ancien imprésario recherchant des investisseurs par petite annonce, d’être assassiné.
Le 20 novembre, de peur d’être dénoncé par Frommer, l’escroc allemand rencontré au camp Börgermoor, devenu depuis un familier de la bande, Weidman le tua.
Vint le tour de la cinquième victime. Raymond Lesobre, agent immobilier disparut le 27 novembre. La découverte de son corps dans la cave d’une maison qu’il gérait allait enfin mettre un terme aux crimes des malfrats. En remontant le fil de cartes de visite trouvées dans son bureau, la police arriva jusqu’à Frommer volatilisé depuis une semaine, et pour cause…
Toutefois, cette piste permit d’apprendre que Frommer travaillait avec un certain Karrer qu’on « logea » rapidement. Le 8 décembre, deux policiers se présentèrent à la villa de La Celle-Saint-Cloud. Au moment de montrer ses papiers, Weidman sortit une arme. Les policiers eurent malgré tout le dessus. Très vite, l’arme se révéla être celle utilisée pour l’assassinat de Raymond Lesobre.
Lors de son interrogatoire, après avoir décliné sa véritable identité, Weidman, sans la moindre émotion, avoua tout : les noms de ses complices, ceux de ses victimes -, occasion d’en inventorier une sixième, un dénommé Joseph Couffy, un chauffeur assassiné le 6 septembre 1937-, et l’emplacement des corps.
A l’issue du procès, le 13 mars 1939, Jean Blanc, à l'implication limitée dans les crimes de ses compères et qui n’avait pas de sang sur les mains, écopa de vingt mois de prison.
Weidman et Million furent condamnés à mort. Mais ce dernier, disculpé par Weidman par une lettre adressée au président Albert Lebrun, vit sa peine commuée en prison à perpétuité la veille de son exécution. Le lendemain, 17 juin, Weidman fut donc seul à faire face à la guillotine dressée à l'entrée de la prison de Versailles. Il montra « du courage », comme on disait alors. Le bourreau Henri Desfourneaux put officier sans problème.
Mené en retard à son supplice, les débordements de la foule impatiente et excitée que suscita son exécution -la presse rapporta que des femmes trempèrent leur mouchoir dans le sang de la guillotine- furent-ils montés en épingle facilitant ainsi l’arrêt des exécutions publiques que souhaitait le gouvernement depuis un certain temps ? Une chose est certaine : une semaine plus tard, soit dans un délai très court, c’en était terminé de la guillotine spectacle. Ainsi, à défaut de ses crimes, Weidman est-il surtout connu pour être le dernier à avoir été exécuté en public.
Inhumé au cimetière des Gonards de Versailles, pour lui éviter la fosse commune, une âme charitable lui offrit une sépulture individuelle qui, dans le respect de la loi, resta anonyme. Pas très éloignée de là où reposa Désirée Landru, sa tombe, de la simple terre battue durcie par le temps, existe toujours à la date de cet article.