O castelo de Vimianzo foi construído entre o final do século XII e o início do século 13 por Marinho de Lobeira. Da fortaleza primitiva só resta o que poderia ser uma torre da menagem. No início do século XV passou para as mãos da família Moscoso, e desde então foi objecto de disputas acirradas pelo Arcebispo de Santiago e pelos Moscosos, dois dos mais importantes poderes da Galiza medieval. Os Moscoso obteriam o título de Condes de Altamira e se tornariam uma das famílias nobres com mais influência da Península.

Em 1467 realizam-se as guerras dos Irmandiñas em que a villa, cansada das opressões económicas dos senhores feudais, toma esta forteleza, ainda que a rebelião não durou muito. O arcebispo de Santiago Alonso II de Fonseca aproveita o castelo no ano de 1472, para sua reconstrução após as revoltas populares. Mas, alguns anos depois, Lope Sánchez de Moscoso, que se proclamou o primeiro conde de Altamira, retornará à Galícia para recuperar a sua propriedade, de modo que ele pertencerá a essa família até o século XIX.