S’il y eut quelques résurgences par la suite, le costume typique du soldat de première classe : képi, pattes de collet et pantalon rouge garance, capote en laine gris de fer bleuté à martingale, avait, lui, disparu dans la tenue bleu horizon des premières tranchées.
Après avoir débuté modestement, vers 1880, dans des salles de quartier, Polin fut engagé au Concert de la Pépinière puis à celui du Point-du-Jour, pour finalement signer un contrat de cinq ans à l'Eden-Concert en 1890. De là, il passa à l'Alcazar d'Eté, aux Ambassadeurs et puis, finalement, à la Scala où il resta vingt ans, ne quittant rarement cette salle que pour des tournées en province ou pour jouer au théâtre.
Tranchant avec la tradition du café-concert, ses interprétations étaient sobres et visaient à la nuance et à la finesse. L’air naïf, en culotte rouge avec basanes, veste toujours trop courte et petit képi qui avait été porté bien souvent avant lui, ce costume avait été inventé par Eloi Ouvrard. Mais alors que ce dernier et tous les chanteurs comiques qui l'avaient précédé se déplaçaient sans cesse sur scène, l'art de Polin consista à se tenir immobile et à débiter lentement ses refrains où il intercalait de longs monologues avec, pour seul accessoire, un mouchoir à carreaux rouge. « Il ne lassa jamais son public qui lui réclamait chaque soir une dizaine de chansons qui, lancées par lui, ne tardaient pas à devenir populaires ». On pourrait citer nombre de ses succès, mais le temps a surtout retenu La petite Tonkinoise, premier grand succès de Vincent Scotto, ou encore La caissière du grand café.
Après 1910, il apparut aussi au cinéma et au théâtre, notamment dans Le Grand Duc de Sacha Guitry (1921) .
Polin fut inhumé au cimetière du Père-Lachaise où la tombe familiale s'orne de son portrait en bas-relief.