Na ermida dedicada ao Espírito Santo, construída em 1522 (ou um pouco antes), instala-se, em 1592, a primeira igreja e hospital da Misericórdia da vila. Nos séculos XVII e XVIII a igreja e o hospital foram reconstruídos, surgindo a Igreja do Espírito Santo (também conhecida como Igreja do Senhor dos Passos ou Igreja da Misericórdia) de características barrocas.
Com a extinção das Ordens religiosas em 1834, os serviços do hospital foram transferidos para o Convento de São Francisco da vila. Durante o século XX o edifício do antigo hospital foi utilizado como Repartição de Finanças, Tribunal Judicial e Depósito de Documentação.
O edifício do antigo Hospital da Misericórdia possui dois pisos mais sótão e apresenta planta em L situada na frente de rua. A fachada do corpo principal está dividida em duas secções assimétricas definidas por pilastras, pintadas de cinzento, cor que surge também numa faixa inferior e a sublinhar as molduras dos vãos, e no friso e cornija, a qual é sobreposta por beirada dupla. A secção mais larga (e mais antiga) tem quatro vãos em cada piso, sendo os vãos centrais mais elaborados, designadamente duas portas encimadas por duas janelas de sacada com as vergas altas terminadas em cornija, ladeadas por janelas de peitoril. Os vãos do piso superior têm as vergas alinhadas em toda a fachada, o que não acontece no piso inferior. O segundo corpo é perpendicular ao tardoz do corpo principal e destaca-se pela sua altura. A cobertura do corpo principal é de três águas, intersetada pela do corpo mais alto que é de duas águas. Depois de 2010 procedeu-se à remoção das guardas em ferro das janelas de sacada deste edifício.
Como elementos relevantes assinalam-se a métrica dos vãos e as janelas de sacada com as vergas altas terminadas em cornija.
