Le château se trouve sur le site d’un oppidum gallo-romain. Les époques de construction s’étalent du XIIe au XVIIe siècle. Le splendide pavillon Renaissance est construit au XVIe.
Boson de Fages, compagnon d’armes de Jeanne d’Arc, naquit dans le château.
Au XVIe siècle, Anne de Fages, dame d’honneur de la reine de Navarre, attire un nouveau lustre sur la seigneurie. Le château tint une place importante dans la région au moment des guerres de religion et il fut plusieurs fois attaqués.
Au XVIIIe siècle, le château appartient au comte Wlgrin de Taillefer, célèbre archéologue périgourdin.
A partir du XIXe siècle, le château est délaissé puis abandonné. Au XXe siècle il sert de séchoir à tabac, puis d’usine d’équarrissage avec culture d’asticots. Le domaine est démantelé, le château pillé et saccagé par les vandales jusqu’en 1964.