Ces bâtiments furent élevés à partir de 1686 pour remplacer l’hôpital Saint-Jacques-des-Arènes qui se trouvait depuis le XIIe siècle de l’autre côté du Doubs, à l’extrémité de la rue des Arènes. Les travaux s’achevèrent au début du XVIIIe siècle.
La grille d’entrée exécutée par le serrurier Nicolas Chapuis en 1703 a été remplacée par une copie. On peut y lire une inscription tirée des psaumes « Tibi derelictus est pauper. Orphano tu eris adjutor. » (c’est à toi qu’est abandonné le pauvre. Tu seras le secours de l’orphelin). L’hôpital Saint-Jacques fut jusqu’en 1956 la maison mère des soeurs hospitalières de l’ordre de Notre-Dame des sept douleurs, issues de l’hospice de Baune.
On peut voir, dans une niche entre les grilles et la porte, un buste en bronze de soeur Marthe, Anne Biget, dévouée toute sa vie aux malades et prisonniers amenés à Besançon par les guerres de la Révolution et de l’Empire, et dont les mérites furent reconnus par l’Europe entière : elle fut décorée par l’empereur d’Autriche, le roi de Prusse, l’empereur de Russie et le roi Louis XVIII.
Répertorié aux Monuments Historiques.