A história deste Castelo funde-se e confunde-se com a história de Chaves.

No local que agora ocupa, deve ter havido um castro. Comprovadamente houve uma edificação romana, como o demonstram as pedras almofadadas encontradas nos seus alicerces. O que quer que fosse, foi arrasado, como o resto da povoação, nas invasões bárbaras. Da Idade Média, época do Castelo de Chaves, as populações da região, se deslocaram para os locais mais povoados, num outeiro sobranceiro ao vale do rio Tâmega, concentrando-se nele para assim, poderem muralhar-se e proteger-se. Era esta a situação aquando da Reconquista. Nos anos de guerra, que aqui foram muitos, as muralhas da vila de Chaves foram sendo construídas e destruídas, e de novo reconstruídas. São referidas em particular as obras de construção promovidas por Afonso III, o Magno, rei de Leão, bem como mais tarde, já as do nosso rei D. Sancho I. Neste contexto, é provável que por vários períodos a vila entrasse em declínio e ficasse mesmo abandonada de todo. Talvez por isso, ao vir à região, em l 253, D. Afonso III foi a Santo Estêvão de Chaves e não a Chaves. E daí que tenha impulsionado a reconstrução desta última, a qual se processava em 1258 e 1259, como referem as Inquirições. Em 1258 foi outorgado o primeiro foral a Chaves, elevando-a à categoria de vila e consagrando-a como um núcleo populacional e económico importante no norte do país. Este foral foi determinante na decisão de reconstruir o castelo e a torre de menagem, que assim ficaram marcados claramente pelo estilo dionisíaco.

Como grande povoação, Chaves obteve de novo um foral em 1350. Foi partidária da linha legitimista na crise dinástica de 1383, pelo que aqui teve que deslocar-se o Mestre de Avis, para conquistar a praça. Foi doada a Nuno Álvares Pereira e por este a sua filha, D. Beatriz, incluindo-se com o dote no seu casamento com D. Afonso, filho de D. João I. Aliás, a família de Bragança viveu bastante tempo em Chaves, aqui fazendo construir um paço, mais moderno e versátil que a velha torre medieval que, integrava o palacete.

De referir ainda o papel da fortaleza nas guerras da Restauração e nas Invasões Francesas, ocasião em que foi reconstruída boa parte da muralha. Para além dos danos provocados pelas vicissitudes históricas e militares, as muralhas de Chaves sucumbiram também perante o crescimento da cidade, sendo absorvidas pela construção de casas de habitação e outras, como é ainda hoje visível nas zonas das Portas do Anjo ou da Rua do Sol. Talvez por isso, quando os flavienses se referem ao castelo, estão a falar somente na torre de menagem e no seu recinto, que subsiste em razoável estado de conservação. Todavia, esta zona é monumento nacional, desde 22 de Março de 1938.

E uma torre airosa e bonita, da altura de um edifício moderno de oito a nove andares. Nas paredes, lisas e quase sem decoração, há algumas seteiras, em geral bastante estreitas. Há também, na fachada voltada para leste, varandas, em madeira. O topo da torre está rodeado por merlões e ameias. Nos cantos, tem pequenos balcões, semicirculares, suportados por matacães.

Entra-se na torre por uma porta que está a cerca de seis metros acima do chão, para a qual se sobe por uma pesada escada de pedra, com amurada também em pedra. Entra-se para o primeiro de quatro andares. Debaixo deste há ainda um piso térreo que, com apenas uma abertura no tecto, para o primeiro andar, servia de cisterna do castelo, não sendo sequer acessível. O primeiro andar, tal como os outros não tem muita luz, que é impedida de entrar por não haver janelas, ou haver poucas, nas paredes com espessura superior a dois metros. O piso é de pedra, tal como deveria ter estado no original, quando foi construído. O mesmo não acontece nos pisos superiores, já restaurados, em tijoleira, suportada por vigas metálicas. Também as escadas entre os vários pisos são metálicas. Quer os soalhos, quer as escadas, eram originariamente de madeira, não tendo sido, por isso, o restauro muito criterioso. De todos os pisos, é digno de realce o terceiro, por ser o mais alto, por ter uma abóbada de pedra em berço, e ainda por ter um enorme fogão de sala. Era o salão nobre da torre.

Em Chaves.

Desde 1978, que no seu interior está instalado, um Museu Militar. Nos seus quatro pisos estão expostas armas uniformes, plantas militares, bandeiras e outros troféus, recolhidos desde a Idade Média até à actualidade. Vale a pena visitar a Torre de Menagem pela vista panorâmica que se pode ver de toda a cidade de Chaves, sua Veiga e arredores, quando chegados ao cimo da Torre.

No seu exterior, a Câmara Municipal construiu um jardim, onde estão expostas algumas peças do Museu da Região Flaviense. O jardim está limitado por muralhas construídas aquando da fortificação da vila, por alturas das Guerras da Restauração, de onde se observa um bonito panorâma sobre o vale de Chaves e a Serra do Brunheiro.