Vers 630 l’évêque saint Donat fonda au numéro 2 de la rue d’Alsace une abbaye dédiée à saint Paul. Au XIe siècle elle fut restaurée, réformée, confiée à un collège de chanoines régulers par Hugues de Salins. S’ensuivit des périodes de prospérité et de déclin alternées. Elle devient propriété de l’Etat pendant la Révolution puis est vendue, morcelée, mutilée, transformée en écurie pour les chevaux de l’armée au début du XIXe puis en magasin d’habillement de l’intendance. On peut voir dans la cour de la bibliothèque municipale un fragment de son clocher abattu en 1832.
Abandonnée par l’armée après la dernière guerre, l’abbatiale est aujourd’hui musée lapidaire de la ville (pierres sculptées) malheureusement fermé et ne pouvant être visité que sur demande à la conservation des Musées de Besançon.
Répertorié aux Monuments Historiques en 1942.