Bâtis sur l’assise d’une motte féodale, les châteaux de Bruzac datent pour la partie la plus ancienne du XIIème siècle. Ils ont connu d’importantes restaurations au XVème siècle. Ils sont le fief d’une famille qui s’appelait Flamenc et qui avait des liens de parenté très forts avec les vicomtes de Limoges. La séparation en deux coseigneuries a sans doute précipité la baisse d’influence de la famille qui a perduré, toutefois, jusqu’au XVIIIème siècle.
Si une partie est restée dans le giron de cette famille Flamenc, une autre partie est passée entre les mains de différents seigneurs de la région, telles les familles de Hautefort, Marqueyssac (d’Ans), sans oublier bien sûr la famille de La Marthonie.
Le site est aujourd’hui séparé en deux parties distinctes car la dégradation du site au XIXème siècle a fait disparaître la partie centrale, corps de logis qui unissait les deux « châteaux ».