Sa première victoire fut de remplacer une école insalubre pour filles par un établissement flambant neuf. Cependant, malgré sa volonté farouche, le zèle, la persévérance et la multiplicité de ses démarches pour gagner cette école et d’autres projets avaient altéré sa santé déjà faible. Conscient qu’il avait entrepris une tâche au-dessus de ses forces, il décida de se retirer de sa cure. A cette nouvelle, tous ses paroissiens le supplièrent de rester et il céda avant de refaire la même annonce, en 1778, qui eut le même écho.
C’est alors que germa dans son esprit une pensée qu’il mit à exécution deux ans plus tard : fonder un hospice pour les pauvres du faubourg Saint-Jacques afin de pallier au drame dont il avait été témoin en 1765.
Cette année là, une épidémie de petite vérole avait durement frappé la population du quartier. Les secours étant insuffisants et l’Hôtel-Dieu ne pouvant accueillir ces malades, il n’avait pas hésité, malgré son mauvais état de santé, à aller porter les secours de son ministère dans les milieux les plus malsains et les plus contaminés,
Pour réaliser son projet, il recourut au moyen qui lui avait déjà plusieurs fois réussi en lançant des prospectus des prospectus annonçant partout qu'il destinait à cette œuvre une somme de 30 000 francs, et qu’il faisait appel à l’aumône pour le surplus. L’appel fut entendu.
L’architecte, Charles François Viel (1745-1819), proposa d’offrir les plans tandis que plusieurs entrepreneurs du quartier livraient gratuitement des matériaux de construction. La première pierre fut posée en 1780 et, en juillet 1782, l’abbé Cochin découvrait l’hôpital entièrement installé avec les religieuses soignant les malades.
Il avait jeté ses dernières forces dans l’accomplissement de cette mission et mourut moins d’an plus tard après avoir légué aux pauvres tout ce qu’il possédait.
Contrairement à ce qu’on peut lire un peu partout, l’abbé Cochin ne fut pas inhumé à Saint-Jacques-du-Haut-Pas mais en l’église Saint-Benoît le Bétourné, sa paroisse d’origine. Lors des profanations révolutionnaires, un menuisier du quartier reconnut sa dépouille grâce à ses habits sacerdotaux. Les restes de cet homme encore vénéré purent être protégés avant d’être placés dans un reliquaire et déposés, par la suite, sous les dalles du chœur de Saint-Jacques-du-Haut-Pas, lui redonnant ainsi une tombe digne de ce nom.
Son épitaphe d’origine a été conservée. Restaurée par sa famille en 1844, elle est accrochée à un mur de l’église. Une simple plaque au sol rappelle sa présence en ce lieu.
Situé au 291 de la rue Saint-Jacques, baptisé à sa création hôpital Saint-Philippe-Saint-Jacques, puis Hôpital Cochin en 1784, il changea deux fois de dénomination sous la Révolution avant de reprendre le nom de son fondateur en 1802.