As chamadas Casas do Colexio foron fundadas en 1776 por Don Domingo López de Carbajal Novoa y Freire, primeiro Marqués de la Atalaya Bermeja. A construcción é un característico pazo chairego, compacto e cuberto a catro augas e cunha moi ben composta fachada na que destacan os arcos da planta baixa, a mesurada solaina abalaustrada do primeiro piso e, ós seus lados, senllos escudos coas armas das linaxes dos Sarmiento, os Carbajal e os Andrade, baixo os cales figuran unhas cartelas relativas a esta fundación.

A capela veciña é tamén barroca de fins do século XVIII, e polas súas dimensións máis parece unha igrexa parroquial que unha dependencia do pazo, o que se explica pola utilización benéfica que tivo orixinariamente este conxunto.