É um dos sete castelos simbolizados na faixa carmesim que rodeia o escudo branco das quinas da Bandeira Nacional. Foi construído no século XII pelos árabes e conquistado em 1280 por D. Paio Peres Correia. Trata-se de um excelente exemplo da arquitetura militar muçulmana, com construção em taipa (que infelizmente ficou bastante danificada pelo terramoto de 1755)
Foi desactivado em 1858. Classificado como Imóvel de Interesse Público desde 1971, o Castelo está a ser objecto de estudo por parte do IPPAR - Instituto Português do Património Arquitectónico e Arqueológico, com vista à sua valorização e classificação das áreas envolventes à Ribeira de Quarteira como Área de Paisagem Protegida. Este estudo contempla a identificação de vários núcleos de interesse arqueológico e etnográfico, bem como a caracterização da fauna e flora existentes. Apesar dos sucessivos restauros, o seu estado de conservação encontra-se degradado e nos nossos dias apresenta apenas alguns panos de muralha, bem como o torreão de entrada e paredes mestras da sua Ermida. Nos princípios do séc. XVI, com a transferencia da povoação do interior das muralhas para Norte, torna-se claro o seu estado de semi-abandono e mais tarde com o terramoto de 1755 sofre o desmoronamento parcial das muralhas e da torre albarrã.