Caserón residencial, fortaleza defensiva, casa forte, palacio persoal do bispo, pazos e torres ou Curral do Bispo son algunhas das denominación que mellor definen a este céntrico, histórico, singular e grande edificio de carácter civil edificado no primeiro terzo do século XII, segundo o testemuña o lintel fundacional que se conserva no interior do museo con referencia á súa construción, o ano 1132. O enorme caserón desempeñou un importante papel dentro da nacente organización do que sería a futura cidade de Ourense como residencia e signo distintivo do poder feudal do poderoso bispo.
Asentado tanto no actual solar como nos terreos circundantes: rúa Bispo Carrascosa e Barreira, ocupou os terreos tanto dos espazos ocupados pola actual Casa do Concello como da Cárcere da Coroa, o que permitiu o crecemento do primitivo edificio a travesos dos séculos con engadido sucesivo de elementos tanto góticos como barrocos, que configuraron este importante recinto defensivo resaltado polas seis grosas torres que contribuíron á súa defensa. Así no século XII o bispo Diego Velasco (1100-1132) iniciou a construción da torre Beati Martini, situada no solar correspondente á ábsida da igrexa de Santa María Nai a esquina da rúa dos Brancos, ambas unidas mediante un paso de rolda.
Durante o pontificado de Vasco Pérez Mariño (1333-1343) no século XIV, engadíronse dúas torres góticas mais á propia muralla, que puña en comunicación a ambas, situadas na rúa Bailén e a súa homóloga na Barreira. A revolta Irmandiña, desmantelou no século XV, a maior parte delas só conservándose actualmente, moi modificada, a situada cara o norte ademais da ocupada polo actuais dependencias do Arquivo Histórico Provincial, que atesoura no seu interior unha portada románica. No solar da torre situada na rúa de Bailén edificouse, no tempo do monxe Trinitario e posterior bispo, Juan Muñoz de la Cueva (1717-1728) diversas dependencia para o aloxamento do persoal de servizo de igual xeito como a coñecida Cárcere da Coroa ou dos Cregos, como o amosa, esta última, na súa fachada o brasón do citado bispo.
Trala venda do edificio ao Estado houbo a necesidade de adaptalo ás esixencias do nacente Museo Arqueolóxico Provincial, feito acontecido na década dos sesenta do pasado século seguindo as pautas do arquitecto Pons Sorolla, aparecendo durante as obras de remodelación determinados elementos pertencentes a unha anterior fábrica romana: necrópole tardo romana. Ademáis, tamén xorderon diversos achados medievais: soterramentos datados entre os séculos IX e X, así como diversos outros moito máis recentes. Estas circunstancias, segundo a esixencia da Lei, obrigan á súa protección o que impediu o normal funcionamento do museo dende fai algúns anos.
