Com o passar dos anos, o forte foi-se progressivamente destruindo, sobretudo devido à acção do tempo e das águas do mar nas marés vivas. Reedificado em 1670, foi em 1755 atingido pelo grande terramoto, tendo ficado profundamente danificado.

Apesar de nos meses de Verão se armar, frente à Praia da Arrifana, uma armação de pesca, só no reinado de Filipe III (1635) aí se mandou levantar um Forte para defesa dos pescadores, da praia e enseada, sendo Governador e Capitão-Mor do Reino do Algarve, D. Gonçalo Coutinho.

Autêntico miradouro natural, daqui poderá desfrutar de uma das mais belas panorâmicas da Costa Vicentina.