Sans crier gare, il s’élevait contre les préjugés qui attribuaient aux comètes quelque influence sur les événements de la terre. Passant en revue tous les excès commis par la superstition, il en conclut que l'athéisme, dans ses effets, se montrait souvent moins funeste que l’idolâtrie. Tollé général contre lui ! En France, sur ordre de Louis XIV, les jésuites firent brûler nombre de ses livres en place publique. Il faut rappeler que, marginal à son époque, étranger au classicisme français, Bayle faisait la critique de la tradition et de l'autorité. Pour lui, être athée ce n’était pas nier Dieu, c’était douter ; l'universalité d'une croyance n'était pas forcément un gage de sa vérité. Réputé pour sa science historique et bibliographique, il attirait lecteurs et controverses par ses contestations ironiques des dogmes et des idées reçues.
Esprit libre, il s'attaqua à tout ce qui était établi et à l’intolérance. En 1686, il écrivit un essai sur la religion dont le titre était pour le moins très significatif : Commentaire philosophique sur les paroles de Jésus-Christ : Contrains-les d'entrer, où l'on prouve qu'il n'y a rien de plus abominable que de faire des conversions par contrainte.
La liberté de ton qui souffla sur son œuvre majeure, Dictionnaire historique et critique, achevée en 1697, annonçait l'esprit des Lumières. D'ailleurs, les encyclopédistes saluèrent en Bayle un de leurs inspirateurs et lui empruntèrent sa thèse de l'incompatibilité entre la foi et la raison.
Ce dictionnaire, qui eut un très grand succès auprès d’un public lettré européen, resta interdit en France. Il n'empêche : de nos jours, Pierre Bayle est considéré comme le précurseur de toute la critique moderne.
Bien qu’atteint d’une infection pulmonaire (tuberculose ?), il ne s’alita pas et mourut à Rotterdam presque la plume à la main sans avoir revu la France. Il fut inhumé en l’église wallonne de la Ville. Démolie en 1922 et remplacée par une nouvelle, ses « résidents » furent alors transférés au nouveau cimetière général dans le quartier de Crooswijk.
Bayle, n’ayant pas été jugé digne d’une sépulture individuelle, fut enseveli avec plusieurs autres calvinistes, tel Pierre Jurieu (1637 – 1713). Il dut se contenter d'un mémorial collectif qui dit :
Paix vous soit. Ici reposent les restes mortels de ceux qui furent ensevelis de 1635-1833 dans les caveaux de l’Eglise Walonne de la Hoogstraat et furent inhumés ici en Octobre 1922 après la démolition de ce Temple. Parmi eux: Geeraert Brandt. 1626-1685, Pierre Bayle. 1647-1706, Pierre Jurieu. 1637-1713.