Está situado en las cercanías del Ayuntamiento y de la Colegiata de Santa María, dentro de lo que antiguamente era el primer recinto amurallado de la pequeña villa medieval de Gandia. Se trata de un edificio construido en torno a un gran patio central, en el que destaca una escalera adosada en dos tramos. El acceso principal se realiza a través de una puerta de arco de medio punto, con dovelas de sillería, característica de la arquitectura nobiliaria de los siglos XIV y XV. En su interior, se encuentran varias salas de las cuales, las más importantes son: el Salón de Coronas, la Galería Dorada, Santa Capilla, etc.

A continuación introduciremos algunas de las salas del palacio ducal de San Francisco de Borja :

Salón de Coronas: El salón de grandes dimensiones posee ventanales con motivos heráldicos con vista al patio de armas. La sala recibe su nombre debido a que el símbolo característico de los Borja son dos coronas contrapuestas. Éste símbolo se encuentra repetidamente en dicho salón.

Galería Dorada: Esta parte del palacio, de estilo barroco valenciano, cuenta con hermosas pinturas en el techo. Se pueden admirar óleos y ornamentos religiosos de gran valor artístico.

Santa Capilla: Es uno de los lugares más emblemáticos del palacio. Se trata de un pequeño oratorio pero con una arquitectura muy interesante y en la que diferentes estilos han dejado su huella.