Au Vè siècle l’Empire Romain est assailli par les Barbares. Cette période est assez mal connue. Les Alamans, les Vandales, les Burgondes et les Francs d’Austrasie occupent tour à tour la ville. L’Eglise (qui en la personne de l’évêque s’était accaparé d’une bonne partie du pouvoir) n’échappe pas à la crise générale. Certains chrétiens scandalisés par le relâchement des moeurs et à la faveur de conflits religieux se réfugient dans des couvents. L’évêque Donat édifie à Besançon l’abbaye Saint-Paul pour les hommes et le monastère de Jussa-Moutier pour les femmes. Besançon vit alors repliée sur elle-même, elle est peu peuplée et l’activité y est principalement rurale.
La ville est animée par ses marchés et par le passage des pélerins qui se rendent à Rome.
A l’époque carolingienne l’ordre est rétabli et l’archevêque Bernoin rebatit la cathédrale Saint-Jean et réforme les moeurs aussi bien du clergé que du peuple. Mais la dislocation de l’Empire amène de nouveaux troubles ; Besançon sera attribuée au royaume de Lothaire en 843, puis à celui de France (Charles le Chauve y vient deux fois) ensuite à la Provence, à la Germanie et enfin à la Bourgogne en 888.
L’autorité appartient désormais aux comtes (système féodal) qui peuvent imposer leur volonté même contre l’archevêque.
La ville va connaître un nouvel essor avec l’archevêque Hugues (1031-1066). Il est nommé alors que règnent la famine et les troubles. Avec l’aide de l’empereur Henri III et du pape Léon IX il reçoit tous les droits des anciens évêques et devient donc le souverain de la ville. Il attire de nouveaux habitants, développe les marchés, crée une monnaie plus forte, fait reconstruire les deux cathédrales (Saint-Etienne et Saint-Jean), restaure l’abbaye Saint-Paul, crée la collégiale de la Madeleine sur la rive droite du Doubs, ouvre des écoles et assure à la ville son « indépendance », qu’elle conservera jusqu’au XVIIè siècle.
Ses successeurs devront faire face à la rivalité entre l’Eglise et l’Empire ainsi qu’aux divisions internes de l’Eglise. Mais ils sauront rester les véritables maîtres de la cité entourés du vicomte, des officiers, du sénéchal et du maire qui assurent l’administration de la ville.
