La Bastide semble ne pas avoir eu de remparts. Mais vers 1314, l’insécurité qui règne dans la région conduit le Sénéchal de Gascogne, « Guilhem de Toulouse » à demander la construction d’une garnison. Bien qu’inachevée, la forteresse bien avancée est remarquable.
C’est un carré parfait de cinquante mètres de côté environ avec une tour carrée à chaque angle. Au centre se trouve le donjon, construction qui semble romane donc antérieure au reste de la forteresse. Il s’élevait sur trois niveaux et possède des archères encore visibles, en croix pâtée.
Les courtines sont surmontées d’un chemin de ronde percé à deux endroits de latrines de chemin de ronde utilisées par les sentinelles.
Un grand logis occupait toute la face Est de la forteresse, divisé en deux grandes salles dont la « aula ». Chaque pièce était munie de latrines domestiques, installées dos à dos et dont l’écoulement, la fosse et l’aération sont encore très visible.
Une bretèche protégeait la porte dont les montants conservent la trace de l’emplacement de la herse
Ce château ne semble pas avoir eu de fossés. En en faisant le tour, on remarque la qualité des murs et leur puissance. Par endroits une tour flanquante, véritable contrefort, vient soutenir les parties faibles
On remarque aussi à l’est, près d’un contrefort, une discrète poterne qui permettait une sortie autre que par la grande porte.
En 1680, ce château était déjà en ruine. Il est propriété privée. Pour l’instant on n’en connait pas l’histoire entre le XIV et le XVII siècles ; Et pourtant des indices montrent qu’il fut occupé et a subi de violents incendies.
Une légende est attachée à ce château : celle de la Reine Blanche dont le fantôme hante les ruines. C’est la légende de Blanche de Bourbon qui était mariée avec Pierre de Castille dit le cruel ; Il répudie son épouse le jour du mariage et l’envoie dans une forteresse du Périgord appartenant à son allié le roi d’Angleterre. Là elle y est assassinée.