Josep Xifré Downing era un miembro muy acomodado de la alta burguesía del siglo XIX. Su padre, Josep Xifré i Casas, había amasado una gran fortuna en América mediante diversos negocios que incluían el tráfico de esclavos. Tras viajar por toda Europa, el joven Xifré se instaló en Madrid, donde mantuvo una relación muy estrecha con la corte de la reina Isabel II. En aquella época, con el viejo palacio del Buen Retiro en pleno proceso de ruina y demolición, se liberó una gran cantidad de suelo urbano. La pujante burguesía de la época aprovechó la oportunidad para construir sus residencias en esta nueva y cotizada zona, que comenzó a ser conocida popularmente como «el barrio de los banqueros».
Xifré, dueño de una de las mayores fortunas del país, estaba decidido a levantar un palacio lo más espectacular posible. Tras realizar un viaje a la Alhambra, quedó tan fascinado que dictaminó que su residencia debía ser un palacio árabe. Para ello, encargó el diseño inicial al arquitecto francés Émile Boeswillwald, si bien la ejecución y el desarrollo corrieron a cargo del arquitecto español José Contreras, quien llegó a instalarse durante seis meses en Granada con el único fin de empaparse de la minuciosa decoración del complejo nazarí para luego replicarla en Madrid.
Así, en 1865, tras tres años de obras, se concluyó la edificación de este extraordinario palacio neomudéjar. El interior se decoró con mobiliario, alfombras, tapices y todo tipo de objetos suntuosos traídos de diversos rincones del mundo, siempre supeditados a la temática orientalista del edificio, un despliegue para el que no se escatimó en gastos. Como reflejo de la mentalidad de la época, existe una célebre anécdotas según la cual el presidente del Consejo de Ministros de aquel momento, Antonio Aguilar y Correa (marqués de la Vega de Armijo), felicitó efusivamente a Xifré por lo hermoso que le había quedado su «palacio chino», confundiendo por completo el estilo arquitectónico.
Lamentablemente, Josep Xifré solo pudo disfrutar de su palacio árabe durante tres años, hasta su fallecimiento en 1868. Su hijo y heredero, José Xifré Hamel —conocido por ser el fundador de la revista teosófica Sophia—, terminó vendiendo la propiedad en 1913. A partir de ese momento, el inmueble pasó por diversas manos: albergó la delegación diplomática de México, fue residencia del duque del Infantado y se utilizó como escuela durante la Guerra Civil. Finalmente, víctima de la especulación inmobiliaria de mediados del siglo XX, el palacio fue demolido en 1950, aunque algunos de sus elementos arquitectónicos y decorativos se subastaron, vendieron y distribuyeron por toda la geografía española. En el solar resultante se construyó lo que inicialmente fue la Casa Sindical y que actualmente sirve como sede del Ministerio de Sanidad.
