Pas de document précis pour dater son édification. Juste un acte de transfert de propriété détenu par les archives départementales en date du 9 mars 1540, effectué par la veuve de Simon Camain seigneur de la Vergne.
Le pigeonnier de La Vergne était exclusivement réservé à l’élevage des pigeons. Il est de forme cylindrique d’un diamètre extérieur de 7,45mètres et d’un diamètre intérieur de 5,45mètres. Sa hauteur totale avoisine les 10,40 mètres.
L’accès à l’intérieur du pigeonnier se fait par une seule porte dont le seuil est à quatre-vingts cm du sol ce qui permettait l’accumulation de la colombine (fertilisant très précieux autrefois).
Les 1 417 boulins sont en pierre de taille, une échelle tournante permet de tous les atteindre et de recueillir les pigeonneaux.
Sur le mur extérieur, une randière, corniche en pierre de taille, en saillie ceinture extérieurement le pigeonnier.
La fuie, orientée plein Est et intégrée à la charpente, permet l’envol des pigeons.