Aquest singular castell costaner del segle XVIII, anomenat del Cardenal, es va construir en honor de l’Infant d’Espanya D. Luis de Borbon y Farnesio, germà del Rei Carlos III i sisè fill del Rei Felipe V d’Espanya i d’Isabel de Farnesio, Duquessa de Parma. 
Va ser Cardenal arquebisbe de Toledo el 1735, primat d’Espanya, arquebisbe de Sevilla l’any 1741 i, quan va abandonar l’estat eclesiàstic, va ser nomenat Comte de Chinchon. Va ser un important mecenes que va donar suport a pintors com Francisco Goya i Luis Paret.
Aquesta fortificació, juntament amb la del castell del Principe a CEE, es va erigir entre 1755-1757 per a la defensa del port, a la Ria de Corcubion.
L’edificació és una península fortificada amb forma d’estrella, construïda en pedra amb materials procedents de pedreres locals. Aquestes obres van suposar una càrrega afegida per als veïns, que havien de concórrer amb carro i bous per fer-se càrrec del trasllat de la pedra des de les pedreres fins al castell.
Amb aquestes característiques constructives, es pretenia que la peça es mimetitzés amb l’entorn i així sorprendre els atacants, preservant la seguretat de les expedicions que es dirigien al nord d’Europa o al Mediterrani, així com evitar saquejos a les ciutats de l’interior.
Té 17 canons i ocupa una superfície d’aproximadament 2.800 m2. A l’interior del recinte, al voltant del pati d’armes, hi ha un edifici amb forma d’U oberta, que ara té funció residencial però que en origen va ser caserna per a la tropa, magatzems, polvorí i altres dependències d’un castell. Tenia capacitat per a 96 homes.
L’interior de l’edificació és d’una sola planta i 3 cossos de pedra: cuina, cambra per als oficials i magatzems d’equipament i pólvora. Totes les estances tenen sostres amb volta de canó; les parets estaven emblanquinades per protegir-se de les malalties. Encara es pot observar en el que avui és el celler, així com la coberta de teula del país.
També comptava amb horts a l’interior i un pou d’aigua dolça per a la subsistència en cas de setge.
La fortalesa es troba en un excel·lent estat de conservació i respecta fidelment la seva estructura original.