L’amiral de France Jean de Vienne établit des religieux au couvent des Grands Carmes en 1392.
Jean de Vienne et son épouse Clémence d’Oiselay firent ériger l’église des Carmes (au coin de la rue des Granges et de celle de la Préfecture) de 1435 à 1472.
L’église a perdu son clocher et sa partie antérieure, son portail se trouve promenade Granvelle. Au XVIIe siècle la confrérie de Saint-Georges, confrérie de la noblesse comtoise, s’établit au monastère.
En 1691, les bâtiments du monastère abritent l’Université de Dole, transférée à Besançon sur les ordres de Louis XIV.
En 1782, les religieux décident de spéculer selon l’exemple du séminaire et demandent à l’architecte Bertrand alors occupé aux travaux de prolongement de la rue Traverse (actuelle rue de la Préfecture) de construire les boutiques qui se trouvent au numéro 2 de cette rue. C’est ici que le père de Marie-Victor Isenbart (peintre paysagiste, 1846-1921) transféra sa boutique de meubles. Son commerce se trouvait lors de la naissance de son fils au 86 Grande Rue, maison remplacée par un immeuble en 1922. Par le passage du 86 on gagne le cloître en admirant au passage une belle cage d’escalier et dans une cour latérale l’ancienne chapelle sépulcrale des Granvelle.
Au numéro 88 se trouve l’ancienne entrée du couvent, flanquée d’une fontaine où le sculpteur Claude Lullier a représenté Neptune chevauchant un dauphin.
Répertoriée aux Monuments Historiques en 1937
