O que mais chama a atenção dessa fortaleza é a sua situação. Ao contrário de outras fortalezas galegas que estão localizadas no topo dos promontórios, esta está escondida entre vales e montanhas. Certamente as altas montanhas que a cercavam serviam como "torres de vigia" na ausência de outra situação mais defensiva.
Foi construída no século XIV e pertencia à linhagem dos Andrade, como a torre de Vilalba ou o castelo de Pontedeume.
Em 1431 os irmandinos chegaram de Ferrol sob o comando do hidalgo Roi Xordo, em busca de Nuño Freire de Andrade « El Malo », até ao castelo de Moeche, mas este já havia escapado. Enfurecido, os insurgentes demoliram o castelo. Em 1468 foi reconstruído por Pedro Álvarez de Osório, conde de Lemos, obrigando fisicamente e economicamente a quem o destruiu para recuperá-lo.