Comme celle de la ville, l'histoire des origines des fortifications demeure obscure. L'enceinte primitive, peu étendue n'englobe que les environs immédiats de la cathédrale (Tour-du-Chastel). Elle ne consiste probablement qu'en palissades jalonnées de quelques poternes. Elle s'étend à l'est vers le confluent de l'Odet et du Frout. A l'ouest, elle ne comprend qu'une partie de la rue Keréon et du Guéodet. La porte principale de la rue Keréon appelée Portz Men (porte de pierre) est surmontée d'une tour de guet. Une seconde ouverture existe rue du Guéodet.

Au XIVe siècle la ville a quitté son écrin du Haut Moyen-Âge. Un rempart en pierres, à mâchicoulis, surmonté d'un chemin de ronde a succédé à cette première enceinte sous les règnes des ducs Jean I le Roux (1237-1286) et de Jean II (1286-1305). La cité médiévale de Quimper est close par 1500 mètres de murailles baignées par le Frout, l'Odet et le Steir. Au nord, des larges douves d'une quinzaine de mètres protégent les remparts d'une attaque venant de la terre. Ces hauts murs sont protégés de distance en distance par des tours de défense. La plus imposante d'entre-elles, la Tourbie ou tour Bihan ou Bizien sert également de logis au gouverneur de la place jusqu'au 16e siècle. D'un diamètre de dix-huit mètres, ses murs atteignent une épaisseur de quatre mètres. Une seule tour subsiste encore aujourd'hui : la tour Nevet. Elle porte la marque des XIVe et XVe siècles, dans sa partie basse deux canonnières ont été aménagées au quinzième siècle pour adapter l'ouvrage aux progrès de l'artillerie. Elle permet d'imaginer l'importance des fortifications aujourd'hui disparues.

Quelques tronçons des anciens remparts subsistent néanmoins. Une portion autrefois bordée par l'Odet s'étend de l'ancien évêché jusque là où s'élevait jadis la Tour Pennalen. Rue de Juniville, un autre pan de muraille a été mis en valeur lors du percement de la rue. Vers la rue des Douves, une portion de rempart encadre la dernière tour de défense de la ville. Une autre portion imposante de rempart sert encore de clôture au collège La Tour d'Auvergne donnant sur la place de la Tourbie. Enfin, le long du Pichery le promeneur peut également observer quelques pans de murailles sur lesquelles ont été bâties des maisons d'habitations.

Six portes fortifiées permettaient de pénétrer dans la ville. Près de la Tourbie, une porte avec pont-levis accueillait les voyageurs venant de Briec, Châteaulin ou Brest. Les portes Sainte-Catherine, Saint-François, Médard, Saint-Antoine et des Reguaires complétaient ce dispositif. En période de troubles, seules les portes Médard et Sainte-Catherine demeuraient accessibles. Cette dernière était certainement la plus imposante, avec son pont-levis encadré par deux fortes tours. La porte Médard était elle-même défendue par un pont-levis et deux herses. Près de son emplacement se dresse encore de nos jours une élégante échauguette à encorbellement.

Un petit château ducal s'élèvait au confluent de l'Odet et du Steir et permettait de battre le lit des deux cours d'eau. Sa construction a connu de nombreuses péripéties. En 1209-1210, Guy de Thouars, époux de la duchesse Constance de Bretagne entame, sur des terrains relevant du fief épiscopal, la construction d'une maison fortifiée et s'attire les ires de l'évêque qui jette l'interdit sur la terre ducale. L'édifice est finalement détruit. Deux siècles plus tard (1399) Jeanne de Navarre, veuve de Jean IV tente, elle aussi, de faire bâtir une forteresse sur le même lieu. L'évêque excommunie les officiers du duc et jette l'interdit sur l'ensemble du diocèse. Le chantier est une fois encore interrompu. L'affaire est même portée devant le pape, sans résultat. En 1452, le duc Pierre II poursuit les travaux de construction de la forteresse malgré l'opposition de l'évêque. Après de nombreux arbitrages, le duc voit finalement son droit à la garde des murailles reconnu. Le château ducal aussi appelé « petit château » est terminé en 1453 et le duc s'engage également à réparer l'enceinte murale qui menace alors de tomber en ruine.