Érigé par les seigneurs de Saint-Aulaye au Xème et XIème siècles, le château médiéval est situé sur un promontoire qui domine la Dronne, l’église, le quartier du port et la forêt de la Double au sud.
La tour Ouest demeure le seul vestige visible de l’édifice qui est tombé en ruines au fil du temps avant d’être restauré à partir de 1887 dans le style néo-Renaissance. Le château est acheté par la Municipalité en 1954 et abrite pendant quelques années la Poste avant de devenir l’Hôtel de ville.