A plusieurs reprises il tint des menaces contre eux jusqu'à annoncer en 1962 que que le président Kennedy allait se "faire descendre" et qu'il n'aurait que ce qu'il méritait. Ce ne furent pas ses seuls propos dans ce sens.
Après l'assassinat de JFK, le FBI estima qu'il n'était pas une figure importante du crime organisé ! On a beau être sûr de rien dans cette sinistre affaire, là, pour le coup on s'en étrangle! Dans la foulée, la commission Warren conclut qu'aucun lien ne reliait Carlos à Ruby alors qu'ils se seraient rencontrés la veille de l'assassinat du président.
Il continua son existence de mafieux, refit quelques actes de présence en prison jusqu'à ce qu'en 1978 il soit rattrapé par l'affaire et convoqué sous prétexte que la commission n'avait rien trouvé car elle n'avait pas cherché. Rien ne put être prouvé contre lui. Mais les Fédéraux l'avaient dans leur collimateur et ne le lâchèrent plus. Malin et méfiant, le personnage ne se laissait pas piéger facilement. Persévérants, les Fédéraux réussirent enfin à dissimuler un système d’écoute que Carlos ne soupçonna pas. Grâce à de nombreuses heures de conversations enregistrées, ils purent l’arrêter pour escroquerie à l’assurance, corruption d’un juge et autres menus plaisirs. Stupéfait, en voyant les Fédéraux sortir sous son nez leurs systèmes d’écoutes, il fut arrêté en 1981 pour entre autres, association de malfaiteurs.
Transféré de prison en prison, atteint de la maladie d’Alzheimer et malgré son état de santé qui se dégradait, sa haine obsessionnelle des Kennedy chevillée au corps on l’entendit un jour dire « Kennedy ce fils de p… on va lui régler son compte ».
Il fut libéré en juillet 1989 pour vice de forme et mourut très malade mais tranquille dans sa villa durant son sommeil . Il fut inhumé auprès de ses parents.
Longtemps après la mort de Robert Kennedy, son attaché de presse Frank Mankiewicz déclara que le frère du Président pensait que Carlos Marcello avait quelque chose à se reprocher dans la mort de JFK.
Il n'était pas le seul. A défaut de preuves indiscutables, plusieurs faisceaux indirects convergent vers lui.