Foi construído em meados do século XVI por D. Rui ou Rodrigo Fernandes de Almada, cônsul de Portugal na Flandres, durante o reinado de D. Manuel. O edifício possui uma planta de forma rectangular e as fachadas apresentam três pisos. Os 2 últimos pisos possuem janelas de sacada que deitariam sobre o rio. Para aceder ao interior passa-se por uma porta monumental que comunica com um túnel coberto por abóbada de arestas sobre pilastras. Existe um recinto interior que é elevado, acessível através de dois lances de escadas. O piso térreo possui elementos renascentistas.

No acesso aos pisos superiores podem observar-se vários vestígios de pintura mural da segunda metade do século XVIII. Os pisos superiores foram alterados por várias intervenções, as mais importantes pertencentes ao período barroco. O edifício sofreu algumas alterações após o terramoto de 1755.

A partir de finais do século XIX o monumento começa a degradar-se. O antigo jardim era acedido por uma rampa e por uma passagem forrada com azulejos do século XVI, foi transformado em garagem. Um dos pisos é sede do Atlético Casa Pia

A Biblioteca-Museu Luz Soriano funcionou no local, de 1939 a 2005.

O Palácio dos Almadas ou Palácio Almada-Carvalhais (ainda Provedores da Casa da Índia ou Palácio que pertenceu aos Almadas) é um palácio localizado no Largo do Conde Barão, na freguesia de São Paulo, em Lisboa.

Está classificado como monumento nacional desde 1920.