Este singular castillo costero del siglo XVIII llamado del Cardenal, se construyo en honor al Infante de Espana D. Luis de Borbon y Farnesio, hermano del Rey Carlos III y sexto hijo del Rey Felipe V de Espana e Isabel de Farnesio, Duquesa de Parma. 
Fue Cardenal arzobispo de Toledo en 1735, primado de Espana, arzobispo de Sevilla en el ano 1741 y cuando abandona el estado eclesiastico, fue nombrado Conde de Chinchon, y fue un importante mecenas que apoyo a pintores como Francisco Goya y Luis Paret.
Esta fortificacion, junto con la del castillo del Principe en CEE, se erige entre 1755-1757 para la defensa del puerto, en la Ria de Corcubion.
La edificacion es una peninsula fortificada con forma de estrella, construida en piedra, con materiales procedentes de canteras locales, estas obras supusieron una carga anadida para los vecinos que debian concurrir con carro y bueyes a hacerse cargo del traslado de la piedra, desde las canteras a el castillo.
Con estas caracteristicas constructivas, lo que se pretendia es que la pieza se mimetizara con el entorno y asi sorprender a los atacantes, preservando la seguridad de las expediciones que se dirigian al norte de Europa o al Mediterraneo, asi como evitar saqueos a las ciudades del interior.
Tiene 17 canoneras y ocupa una superficie de 2.800 m2 aproximadamente. En el interior del recinto, rodeando el patio de armas, se dispone un edificio con forma de U abierta, que ahora tiene funcion residencial pero que en su origen fue cuartel para la tropa, almacenes, polvorin y demas dependencias de un castillo. Tuvo capacidad para 96 hombres.
El interior de la edificacion es de una sola planta, y 3 cuerpos en piedra, cocina, cuarto para oficiales, y almacenes de pertrechos y polvora, todas las estancias cuentan con techos en boveda de canon, las paredes estaban encaladas, para protegerse de enfermedades  aun se puede observar, en lo que hoy es la bodega  y cubierta de teja del pais.
Tambien contaba con huertos en el interior y pozo de agua dulce para subsistencia en caso de asedio.
La fortaleza se encuentra en un excelente estado de conservacion y respeta fielmente su estructura original.