La construcción del palacio se estima que tuvo lugar durante la década de 1730 y se completó en la segunda mitad del siglo XVIII. En su primera planta, Antonio Rafael de Mora y Saavedra mantuvo un gabinete de antigüedades para sus visitas, incluyendo una estatua romana de Eros del siglo II descubierta en los cimientos en 2010. Posteriormente, el edificio pasó a manos de la familia Mata Burgos, conocida como Torres Burgos, y fue declarado Monumento histórico-artístico nacional en 1982.
En 2005, el Ayuntamiento de Lucena adquirió el palacio con el objetivo de convertirlo en un espacio cultural. Tras un proceso de restauración que reveló hallazgos como una estatua de Eros dormido del siglo II y pinturas murales neoclásicas, el Centro de Interpretación abrió sus puertas en 2011 con diez salas expositivas. En años posteriores se han inaugurado nuevas salas dedicadas a la basílica paleocristiana de Coracho y a la cultura sefardí.