Cacela, foi um importante centro durante a ocupação muçulmana da península, mas as pesquisas arqueológicas apontam para uma ocupação humana anterior à época romana, o castelo de origem muçulmana foi, já sob o domínio português, entregue Ordem de Santiago, pelo rei D. Afonso III.

No século XVI, esta fortificação foi reconstruída por ordem de D. João III, com obras que se prolongaram até aos finais deste século. Em 1755, o terramoto causou sérios danos na sua estrutura. A actual fortificação, também conhecido por Forte de Caela Velha, foi erguida sobre o antigo castelo, já no fim do século XVIII.

Em finais do século XIX, passou a ser o quartel da Guarda Fiscal, está classificado como Imóvel de Interesse Público, tem vindo a beneficiar de obras de conservação e restauro.