Vila do Touro é um local de ocupação humana desde a pré-história, a origem desta fortificação não é conhecida, mas já existiria, no século XII, quando esta região passou para a posse portuguesa.

O castelo pertenceu à Ordem do Templo, até à extinção da ordem, em 1319, o que também terá evitado que melhoria das defesas da fortaleza fosse terminada, e ao longo dos séculos arruinou-se por completo.

O que resta desde castelo, essencialmente uma porta em arco gótico e alguns vestígios de troços das muralhas, não está classificado a nível patrimonial.