Su nombre procede de que fue realizado para residencia del emperador Carlos, aunque no queda constancia de que nunca llegará a abitar en él. Está situado junto al palacio nazarí de comares, y presenta un gran contraste con la arquitectura islámica del resto del recinto. Presenta planta cuadrada, con patio circular, fue diseñado por Pedro Machuca. Sorprendente por el año de construcción (1527), muy temprano para sus características que lo encuadran dentro del Manierismo: columnas dóricas en el primer piso, jónicas en el segundo, y friso con cabezas de toro (bucráneos) de tradición grecorromana. 

En algunos aspectos, repite o anticipa ciertas soluciones arquitectónicas del Manierismo en Italia, lo que se explica por estancia de Machuca en dicho país y por su habilidad para desarrollar con inventiva propia ciertos rasgos incipiente estilo manierista. La construcción se vio interrumpida en el siglo XVII, hasta que se completó en el siglo XX. Su Fachada es totalmente renacentista. El primer cuerpo, estilo toscano con almohadillas. El segundo con elementos de decoración del barroco. Sobre la puerta principal, dos estatuas aladas de mujeres reclinadas en el frontón. Arriba, 3 medallones enmarcados en mármol verde. En los laterales, escenas de Hércules.