Segundo a lenda, dois navegantes em perigo terão feito uma promessa em pleno mar alto de construírem uma igreja no primeiro lugar da terra de Portugal que avistassem do mar. A lenda afirma também que o fundador trouxera consigo da Índia uma pequena imagem da Nossa Senhora, em marfim, imagem que, depois da sua morte, os frades veneravam como relíquia, até que, para a salvar do vendaval de 1834, um deles a escondeu debaixo do hábito e foi pedir a uma senhora, que a recolhesse.
Em 1632 o Convento foi entregue à Ordem Terceira de S. Francisco, tendo sofrido severas danificações no grande terramoto de 1755.




Fundado em 1631 por Pero da Silva (que posteriormente foi vice-rei da Índia), o Convento de Nossa Senhora do Desterro, de arquitectura Manuelina, encontra-se hoje em Ruínas, rodeado de arvoredo, com um magnífico panorama sobre Monchique, conservando ainda parte do seu grande encanto e beleza.

O acesso ao Convento pode ser feito a pé desde Monchique (dista cerca de 500 metros), ou de carro, com estacionamento próximo, seguindo por estrada asfaltada até cerca de 100 metros.

Propriedade da Câmara Municipal de Monchique, tem como projecto a construção de uma unidade hoteleira no Convento, mantendo para tal a sua traça original.