En 1096, ce cimetière était déjà mentionné dans un acte « notarié » concernant la chapelle.
D’ailleurs, en 1875 et en 1891 on retrouva, respectivement derrière l’abside et devant la façade de l’église Saint-Pierre, des sépultures des 13ème, 14ème, 15ème et 16ème siècles.
Excepté ces éléments on a peu de renseignements sur ce cimetière jusqu’en 1688.A quelques mètres près, il se confondait avec celui du Calvaire.
Revenons à 1688. Jusqu’à cette date, la population de la Butte étant infime, ses inhumations l’étaient aussi. On pense que les défunts étaient pour beaucoup enterrés dans l’église moyennant finance. Peu à peu la population et les inhumations augmentèrent.
Après avoir définitivement délaissé l’abbaye « d’en haut » en 1686, les religieuses donnèrent à la paroisse Saint-Pierre un petit terrain, prélevé sur un partie de leur verger, pour servir de cimetière aux Montmartrois.
Elles stipulèrent que les habitants devraient fermer l’enclos qui devait aussi contenir le clocher de l’église dont elles autorisaient la construction sous certaines conditions.
Ainsi réduit, le minuscule enclos, d’environ 10 mètres sur 6, ne pouvait recevoir que deux fosses.
En 1697, les religieuses ayant cédé une autre parcelle de leur verger, l’enclos put être agrandi et, à la Révolution, avait ses dimensions actuelles, soit 600 mètres carrés.
Par la loi du 15 mai 1791 attribuant aux communes la propriété de leurs cimetières, celui de la paroisse devint la propriété de la commune de Montmartre. Ses fosses étant pleines, il ferma peu après et les Montmartrois allèrent se faire enterrer dans le cimetière des Porcherons, puis dans celui de la rue Pigalle et enfin dans celui du Champ-du-Repos (futur cimetière de Montmartre). Rouvert en 1801 pour des tombes individuelles, il fut de nouveau vite rempli et referma en 1823 avec quelques inhumations autorisées en 1828, 1830 et 1831 grâce à des places libérées. A dater de cette année là, l’ouverture du cimetière Saint-Vincent permis de fermer définitivement celui du Calvaire.
Durant des siècles on l’appela le cimetière Saint-Pierre. Puis en 1833, la proximité d’un calvaire qu’on venait d’ériger lui valut son nom actuel. En 1887, la Croix dite de Cottin, qui se trouvait dans l’ancien cimetière de la Chapelle, fermé en 1860, fut transféré sur le parvis de l’église Saint-Pierre, c'est à dire devant le cimetière du Calvaire, par les soins la société du « Vieux Montmartre ». Son socle porte l’inscription suivante : Son socle porte l’inscription suivante (sic) : « CETTE CROIX A ESTE FAITE ET PLANTE PAR Philippe COTTAIN ANTIENC MARGUILLIER C DE SA PAROISSE LA CHAPELLE S. DENIS LE 25 MAY 1763 EST DÉCÉDÉ LE 29 MAY 11 1764 M.O UN DE PROFONDIS LE 15 MAR.. 1780 / R.P / DE PROFONDIS »