Ce fut d’abord, depuis le début du XIIIe siècle et pendant tout le Moyen Age, un hôpital où étaient reçus et soignés par les religieux de l’ordre du Saint Esprit tous les nécessiteux sans aucune distinction d’origine, d’âge ou d’infirmité.
Puis, à partir du XVIe siècle, il n’accueillit plus que les femmes en couches, les enfants abandonnés et les voyageurs.
Quand Louis XIV érigea l’hôpital Saint-Jacques en hôpital général, l’hospice du Saint-Esprit n’accueille plus que les enfants.
Après la révolution le lieu abrite successivement une soupe populaire, le mont de piété, le bureau des objets trouvés, une école, un commissariat de police… et enfin la présidence de l’Université.
Quant à l’église, elle a été officiellement cédée à la communauté protestante de Besançon en 1842. La ville impériale, tout d’abord très hostile au culte réformé (à tel point que, lors de la conquête française, obligée de fournir un local pour le culte des soldats protestants, elle interdit aux bisontins d’assister à ces cérémonies) devient plus tolérante pendant la révolution, quand les horlogers suisses et calvinistes pour la plupart introduisent la fabrication industrielle de la montre.
Dans la cour de l’ancien hospice on peut voir la tour construite au XVe siècle par Lambelet Vernier, recteur du Saint-Esprit et aussi une très belle galerie de bois sculpté au riche décor datant du XVIe siècle.Le nombre des ses colonnes était à l’origine double, on peut distinguer encore l’attache de celles qui ont disparu et la balustrade n’était pas ajourée mais pleine.
