Dentro del plan de reformas de las murallas que cubrían el flanco del puerto de Cádiz se proyecta la construcción de tres edificios idénticos y próximos entre sí: la Aduana, la Casa de Contratación y el Consulado. De los tres sólo se ejecuta el primero, de estilo neoclásico, sobrio y de amplias y equilibradas proporciones. Las obras se iniciaron en 1770 bajo la dirección del ingeniero militar Juan Caballero a instancias del rey Carlos III invirtiéndose 7.717.200 reales. Su construcción finalizó en 1784.

Es de planta rectangular con dos patios cuadrangulares porticados. Está construido con piedra ostionera.

Dentro del palacio cabe destacar el Salón Regio, realizado bajo la dirección del arquitecto Juan de la Vega, obra llevada a cabo en 1862, cuando el palacio sirvió como residencia a la reina Isabel II, en su viaje a Cádiz. Está decorado con mármoles y alfombras, destacando las pinturas al temple de su techo.