A região da Vidigueira, foi conquistada por D. Sancho II, aos muçulmanos em 1235, e o castelo é suposto, ter sido construído no reinado de D. Afonso III, sobre uma fortificação da época romana.

O castelo e os seus domínios foram doados a D. Nuno Álvares Pereira, depois da crise de 1385, cujos descendentes mantiveram a posse destas terras até meados do século XV, sendo-lhes atribuída a construção da Torre de Menagem.

Vasco da Gama, depois da descoberta do caminho marítimo para a Índia, torna-se o primeiro conde da Vidigueira, título concedido por D. Manuel I, em 1519.

Deste castelo restam as ruínas da Torre de Menagem, classificadas como Imóvel de Interesse Público, do antigo Paço dos Gamas, que serviu de residência aos condes da Vidigueira, e teria sido edificado junto ao castelo, não restam vestígios.