Inicialmente, era um colégio dirigido por Padres Jesuítas. Começou a ser erguido em 1610. Em 1670, o colégio foi incendiado e destruído pelos árabes vindos de Mascate (Xeicado). Foi reconstruído em 1674 e funcionou até 1759, data em que os Padres Jesuítas foram expulsos de Portugal e das colónias. Passou a ser o Palácio dos Governadores Gerais de 1763 a 1898.
Após a Independência Nacional passou a ser Museu da História Colonial. O museu comporta:
- A capela de São Paulo;
- Museu de Arte Sacra;
- Museu da Marinha (incorpora uma exposição sobre os resultados dos trabalhos de arqueologia subaquática);
- Museu de arte decorativa.