A cet endroit s’édifiait jusqu’en 1797 la petite église Saint-Jean-Baptiste dont il ne nous reste plus que quelques briques que nous pouvons voir dans le square Castan, une cloche dans l’église de Jallerange (Doubs) et le pupitre de fer forgé dans celle de Saint-Hilaire.
Après la destruction de cette église, l’archéologue Auguste Castan entrepris des fouilles en 1870 sur son emplacement et l’architecte Ducat réalisa les travaux d’aménagement du square.
Il est planté d’arbres symboliques de l’antiquité moyen-orientale : ifs et cèdres du Liban. Castan pensait avoir mis à jour le théâtre romain de Besançon. Cette hypothèse est controversée, certains pensent qu’il s’agit d’un château d’eau (on a retrouvé des restes d’aqueduc sous les maisons voisines) et d’autres d’une sorte de temple dédié à une divinité liée à l’eau. En résumé : l’identification du plus grand monument gallo-romain reste impossible.
Répertorié aux Monuments Historiques.
