Erster Besitzer des Gebäudes war die Familie Villafranca,
deren Wappen über dem Eingangstor prangte. Alonso de Villafranca war
Haushofmeister des ersten Markgrafen von Tarifa, der den gegenüberliegenden
Palast Casa de Pilatos bewohnte, mit dem es über einen unterirdischen
Gang verbunden war.
In der Casa Imperial, wie auch in vielen anderen sevillanischen
Palästen, findet man Spuren zahlreicher geschichtlicher Epochen, die
in ihrer Gesamtheit ein einzigartiges architektonisches Mosaik bilden.
Dieses Zusammenspiel aufeinanderfolgender kultureller Ausdrucksformen
verleiht der Stadt ihren heutigen reizvollen Charakter.