A construção inicial do Convento data dos finais do século XVI. O terramoto de 1755 deixou-o destruído, vindo a ser recuperado no século XIX, como residência de Verão do Conde da Gandarinha.

Encontrava-se abandonado quando, há alguns anos, a Câmara de Cascais procedeu à sua recuperação, instalando neste espaço o Centro Cultural de Cascais.

Hoje é um dos espaços mais dinamizados a nível cultural no concelho e acolhe regularmente exposições de todo o tipo de artes plásticas de autores nacionais e internacionais.