Situa-se na ponta nordeste da Ilha e tem 780m de perímetro. Foi o Vice –Rei da índia, Dom João de Castro, que, em 1545, escolheu o local e deu ordem para que fosse construída, começando-se a junta as pedras.
É costume afirmar-se que as pedras da Fortaleza vieram de Portugal ou então da índia. Mas basta olhar de perto o grandioso monumento para se concluir que as pedras, pelo menos as que estão à vista, são iguais às que abundam na Ilha.
Ainda hoje a Ilha não é plana. Pelos restos das elevações rochosas que ainda existem, como aquele em que assenta a Igreja da Saúde, sabemos que havia elevações que foram destruídas para fornecer a pedra às construções, feitas no decorres dos séculos.