En 1832, à la mort de son père, sans aucun enthousiasme, le voilà contraint de reprendre l’affaire mais préférant refaire le monde avec ses amis en « arrière boutique ».
Passionné de musique, de littérature, il se dépensait en compagnie, entre autres, d’Eugène Sue et Chopin. Séduit par les idées de Charles Fourier, dont il fréquenta la loge, il devint socialiste.
C’est en 1833 qu’il commença le combat qui ne le quitta plus. Avec sa plume, sa meilleure arme, il écrivit son premier ouvrage contre l’esclavage, De l'esclavage des Noirs et de la législation coloniale, dans lequel il se montrait désintéressé et rigoureux. Lui qui n’avait qu’à y gagner des haines tenaces, fut servi ! Préférant cultiver une indépendance farouche sur le sujet, il se tint à l’écart des sociétés « pro » ou
« anti » esclavagisme qui fleurissaient un peu partout.
Cependant, dans l’immédiat, Victor estimait encore qu’il serait dangereux de rendre aux esclaves une liberté à laquelle ils n’étaient pas préparés et que le maintien du fouet restait souhaitable…sa vision allait évoluer.
Puis, faisant flèche de tout bois, rappelant que Sainte Iphigénie était une Ethiopienne, il se battit pour faire admettre que le Noir pouvait être éduqué, qu’il n’était pas l’intermédiaire entre le singe et l’Homme !
En 1840, à l’appel des esclavagistes, il se rendit aux Antilles vérifier par lui-même les améliorations apportés. S’il constata des changements en mieux dans le traitement des esclaves, il ne pouvait transiger sur principe. A son retour, il persista et signa son ouvrage le plus célèbre : Colonies Françaises, Abolition immédiate de l’esclavage, dans le lequel tout fustigeant le principe de l’esclavage, il n’attaquait pas les planteurs en tant que personnes.
Toujours aimablement ouvert à la controverse sans jamais rien lâcher, il épatait et choquait à la fois Lamartine par son athéisme empreint d’une haute valeur morale.
Absent lorsque Louis-Philippe fut déchu en février 1848, à son retour, il arracha à Arago, membre du Gouvernement Provisoire, l’abolition sans condition de l’esclavage dans les colonies françaises, le 27 avril. Cet acte occulta en partie le reste de sa vie pourtant active.