Los duques querían viajar a la localidad para reunirse allí con Elena Quiroga y Torrente Ballester
Las propiedades de la Casa de Alba se extienden por toda la península ibérica y en la provincia de Ourense se reducen en estos momentos al castillo de Castro Caldelas. Tras la muerte de Cayetana, la propiedad pasó a manos de su primogénito, Carlos Fitz-James, junto a todos los bienes que firmaban parte de la Fundación Casa de Alba. Los Alba también ostentaron la titularidad de la fortaleza de Monterrei, aunque en este caso la propiedad en estos momentos es de la Xunta, tras cedérsela en 2009 Patrimonio del Estado.
La Casa de Alba cedió en 1992 y por un periodo de 50 años, la fortaleza de Castro Caldelas al Concello, para su mantenimiento y explotación. El excalde Eladio Osorio, que dejó el cargo hace poco más de una semana, recuerda cómo se desarrollaron las negociaciones en aquel momento, en el que él ya estaba al frente del Concello. "Eu acababa de gañar as eleccións e un anos antes, durante unha visita que fixeron os duques a Galicia, sendo presidente da Xunta Fernández Albor, declararon que estaban dispostos a ceder os sus castillos na comunidade".
Recuerda que las negociaciones las llevaron a cabo con el segundo marido de la duquesa, Jesús Aguirre, "un home estraordinariamente amable, co que daba gusto falar", y el 14 de julio de 1992 firmaron la cesión del castillo al Ayuntamiento. "O castelo estaba moi deteriorado, pero fomos conseguindo subvencións, de Bellas Artes, do Quinto Centenario, convenios co INEM, escolas taller e pouco a pouco fómolo recuperando", indica Osorio. Actualmente,sus muros acogen el Museo Etnográfico, la biblioteca pública, la oficina de turismo, un salón de actos y espacios para otros servicios.
El exalcalde recuerda que la firma del convenio de cesión tuvo lugar en el Palacio de Liria, en Madrid, al que Jesús Aguirre se desplazó desde Sevilla. "Lembro que Jesús Aguirre nos dixo que tanto el como a duquesa tiñan moito interés en vir a Castro Caldelas e encontrarse aquí con Torrente Ballester e Elena Quiroga, o que nunca aconteceu, porque ó pouco morreu Elena Quiroga, despois foise Torrente e o propio Aguirre, e agora a duquesa".
Dos de los hijos de Cayetana sí estuvieron hace algunos años en Caldelas. Jacobo, viajó a la localidad y regaló un cuadro suyo a María Teresa Cortón, vecina de la localidad y , otro, Cayetano, estuvo de paso.
También tuvo una estrecha vinculación con la Casa de Alba la fortaleza de Monterrei, tras el matrimonio en 1680 entre la octava Condesa de Monterrei, Catalina de Haro, con el décimo duque de Alba. La fortaleza acabó en manos del Patrimonio del Estado -en 1905 ya está registrada a nombre del Ministerio de Defensa- y en 2009 fue cedida a la Xunta de Galicia, que en la actualidad procede a su restauración para acondicionar en la misma un parador de turismo.
