Sobre un antigo castro prerromano e galaico-romano, que lle deu nome ó lugar, ergueuse no século XIV unha ampla fortaleza que ocupaba case todo o outeiro, presidida por unha lanzal torre de homenaxe. Aínda se conservan fotografías desta torre, que se veu abaixo en 1941, e pódese reconstruir o trazado e disposición do castelo medieval, coas súas entradas e as diversas áreas e dependencias, moitas delas convertidas hoxe en caserío moderno. Este castelo pertencía ós Condes de Lemos, emparentados cos Fernández de Castro, os Osorio e outras linaxes, e as súas armas (seis roeles rodeando un tau ou T???), son hoxe o emblema heráldico deste Concello.

Este lugar foi declarado ''Conxunto histórico e paraxe pintoresca'' en 1971, polos seus valores patrimoniais e paisaxísticos, que fan de Castro de Rei un sitio ideal ''para ver e descansar