Em 1547, após ter adquirido umas casas e rossio de João da Maia que se situavam junto da Igreja da Misericórdia, a Irmandade estabeleceu-se naquela que é desde essa altura a sua casa do Despacho.
Este edifício comportava duas casas que ficaram unidas em 1722, após o alinhamento do frontispício da Casa da Mesa com a Casa das “Alanternas”.
Destaca-se nesta Casa a janela em estilo Manuelino.