La construction du château-abbatial de Coly est probablement contemporaine de celle de l’abbaye de Saint-Amand de Coly, au XIIème siècle. La première mention du château date de 1358. Résidence de l’abbé de Saint-Amand de Coly et siège administratif, il fut malmené par les conflits historiques. Il est aujourd’hui divisé en deux parties : une partie privée, restaurée et une partie communale, en ruines.