On pense généralement que cette église du 13ème siècle fut l’ancien baptistère de Notre-Dame. Appuyée contre le mur nord de la cathédrale, elle fut la paroisse des habitants du cloître Notre-Dame, créé pour accueillir les élèves venus recevoir l'enseignement des prêtres de la cathédrale.
Son statut de paroisse se reporta alors sur l’église Saint-Denis-du-Pas où l’on transporta les fonts baptismaux, les fondations de messes et les services religieux. On y célébrait le culte de sainte Geneviève car la légende voulait que celle-ci y ait rassemblé les Parisiennes pour les exhorter à lutter contre Attila par leurs prières. La même légende se racontait aussi sur l'église Saint-Germain-le-Vieux...
Saint-Jean-le-Rond est surtout connue pour l’histoire de Jean le Rond d’Alembert qui devait une partie de son patronyme pour avoir été abandonné sur les marches de cette église par sa mère Mme de Tencin. On y rajoutera l’évocation qu’en fait Victor Hugo dans Notre-Dame-de-Paris alors même qu’elle avait disparu depuis longtemps quand il écrivit son roman.
Elle posséda, dans le cloître Notre-Dame, un petit cimetière d’environ 100 mètres carrés qu’entourait une galerie de charniers au-dessus de laquelle se trouvaient des logements. D'une façon générale, les enfants de chœur de la cathédrale y étaient enterrés. Le temps passant, pour éviter d'inhumer dans Notre-Dame, on fit un nouveau cimetière dans le lequel, par respect, on transporta de la terre et les os de l'ancien jusqu'à ce dernier soit complètement vidé. Le nouveau fut béni en 1632. Les marguilliers de St-Pierre-aux-Bœufs en profitèrent alors pour demander la permission d'y transférer les ossement de leur église (1648). En 1741, on parla de cesser d'y enterrer. En 1748, tombant en ruine, l'église fut démolie et le pavement du parvis de Notre-Dame fut refait.