O castelo de Avô, situado no monte onde se desenvolve a povoação do mesmo nome, junto ao rio Alva, deve ter sido construído no reinado de D. Afonso Henriques, que o poderá ter doado a sua filha D. Urraca, já que, em artigos publicados no, «Jornal de Arganil», em 2003, da autoria de, José de Brito, é referido o texto da doação desta região de Avô, em 1185.

Há registos de ter sido muito danificado pelas lutas entre D. Sancho II e D. Afonso III, sendo depois recuperado no reinado de D. Dinis, mas foi praticamente destruído ao longo do século XIX, com a utilização das suas pedras para outras construções, nomeadamente para a construção da ponte da Ribeira de Moura.

Actualmente o que resta desta fortaleza, está classificado com Imóvel de Interesse Público.