Abrantes foi conquistada aos mouros por D. Afonso Henriques, por volta de 1148, que mandou construir melhores defesas, tarefa que foi continuada pelos monarcas seguintes, mas é com D. Afonso III, que são implementadas as mais importantes melhorias, como a construção da Torre de Menagem, com obras que se prolongam até 1300, já no reinado de D. Dinis. 

Com a guerra da Restauração da Independência, depois de 1640, é alvo de novas obras, desta vez para a sua adaptação ao uso de artilharia, tornando-se numa importante praça forte, que no século XVIII, era o quartel do regimento de Cavalaria Real.

Durante as invasões francesas, em 1807, a fortaleza foi ocupada pelo general, Junot, mas poucos anos depois foi recuperada. Ao longo dos anos foi perdendo o interesse militar e chegou a funcionar como presídio.

Classificado como Imóvel de Interesse Público, beneficiou de obras de consolidação e restauro das muralhas do castelo e da Torre de Menagem. Na praça de armas existem ainda ruínas do Paço dos Condes de Abrantes e a Igreja de Santa Maria do Castelo, onde funciona um museu histórico.