Situada na povoação de Cacela Velha, foi um castelo ao tempo da dominação muçulmana.
No Século XVI, já em ruínas, foi reconstruída por ordem de D. João III ou D. Sebastião, não havendo certezas quanto a qual dos dois monarcas se interessou efectivamente pelo reerguer da estrutura defensiva.

É sabido que o último inspeccionou pessoalmente as obras em 1573.
A Fortaleza sofreu várias vicissitudes nos séculos seguintes. Relatos de 1617 referem que a muralha estava arruinada no lado da arriba. Em 1750, a Fortaleza estava arruinada, tendo ficado quase destruída com o Terramoto de 1755.

A actual estrutura deve-se a D. Rodrigo de Noronha, que ordenou a sua reconstrução, prolongando-se os trabalhos de 1770 a 1794. Apresenta planta trapezoidal, com baluartes nos ângulos salientes, e guaritas.
Em 1897, foi ocupada pela Brigada Fiscal da GNR, sendo que ainda hoje os edifícios do terraplano são utilizados por aquela força de segurança, o que impede visitas turísticas ao interior do monumento.
Do largo fronteiro à Fortaleza avista-se, para Leste, o troço final da Ria Formosa, que se estende até poucas centenas de metros da Manta Rota, a baía de Monte Gordo e, mais longe, já em Espanha, as zonas de Isla Canela e Isla Cristina.