Casa nobre barroca, construída na primeira década do século XVIII junto à muralha de Pinhel, pertenceu à família Antas e Menezes, que na época detinha a alcaidaria-mor da vila.
Durante as Invasões Francesas o edifício foi ocupado pelas tropas francesas, que aí se instalaram no ano de 1810. Mais tarde, passou a pertencer à família Noronha e Avilez, e em finais do século XIX foi vendido ao Conde de Pinhel.
No século XX a Casa dos Condes de Pinhel tornou-se sede do Grémio da Lavoura e nos anos 1973-1974 a cooperativa agrícola cedeu o espaço à Câmara Municipal de Pinhel. O solar, que estava então adossado ao edifício dos Paços do Concelho, foi objeto de algumas obras de conservação, passando depois a desempenhar funções de sede da autarquia. Atualmente, o edifício está desocupado.
De planta retangular irregular, desenvolvida horizontalmente, o edifício engloba zona habitacional e espaço de capela. Destacam-se na fachada principal portais com pilastras molduradas, janelas de sacada com moldura retangular simples e varandim de pedra com guarda de ferro forjado, apoiado em mísulas decoradas por florões, brasão com armas reais no cunhal sudoeste, e empena reta com cornija e cachorros decorados com palmetas e rosetas.
Do interior ressalva-se um átrio com três arcos plenos, que dão acesso a uma escadaria de lanços opostos, os salões nobres com tetos planos, pintados com motivos vegetalistas estilizados e cenas campestres, e a chaminé trapezoidal da cozinha. A capela, de planta retangular simples, com porta em arco abatido, possui nave única coberta por abóboda de berço de madeira e capela-mor com retábulo em talha dourada.
