Construit au début du XIVe siècle à l’entrée de la cité médiévale et doté de boutiques, le bâtiment primitif assure successivement les fonctions défensive, économique et résidentielle. Mis au goût du jour et pourvu d’une tour d’escalier, l’ensemble prend des allures de maison noble au lendemain de la Guerre de Cent Ans.
La récente découverte de peintures murales exceptionnelles, datées des XVe et XVIe siècles, confirme l’importance de ce lieu et la qualité des commanditaires. Outre une scène historique encore énigmatique, l’édifice conserve un des rares exemples peints illustrant les « Neuf Preux » à cheval. L’union savante du Gothique international et de la Renaissance italienne en fait un décor remarquable.
L’ajout d’une seconde tour et de terrasses surplombant la vallée de la Nauze, au XIXè siècle, conduit alors à la nouvelle appellation de « Château de Belvès ».