Bâti en 1621 sous le règne de Louis XIII, il représente la volonté du fervent roi catholique de reprendre le contrôle de cette ville rebelle protestante. Il est situé sur l'ancien emplacement des jardins du château médiéval... et les pierres de ce même château (ainsi que des pierres des remparts !) ont été utilisées pour la construction du nouvel édifice religieux.
Des frères Récollets de l’ordre des Franciscains, s’établirent dans le couvent en 1629 afin de convertir la population à la foi...