El Castillo-Fortaleza es una magnífica muestra de la arquitectura militar renacentista del siglo XVI. Proyectado en 1553 por el ingeniero italiano Juan Bautista Antonelli, su coste fue sufragado por D. Bernardino de Cárdenas, Virrey de Valencia, dentro del «Plan para la defensa de costas del Reino de Valencia”. Con su estructura defensiva hizo frente a los ataques piratas de los Berberiscos que asolaban el litoral.
Al finalizar las obras en 1557, una guarnición compuesta por 33 personas y sus familias se instalaron en su interior: el alcaide, un alférez, treinta soldados y un capellán, que vivían en los muros del Castillo.
Con el paso del tiempo, los usos civiles sustituyeron a los militares. El 9 de julio de 1859 el Castillo pasó a propiedad del Ayuntamiento, realizando obras de reforma, encaminadas a que el edificio perdiera su carácter de fortaleza.
Desde entonces, el recinto ha sido utilizado para el desempeño de funciones de diversa índole, convirtiéndose en sede de la Casa Consistorial, Cuartel de la Guardia Civil, Juzgado de Paz, hospital y hasta una improvisada plaza de toros.
Actualmente, el Centro Cultural Castillo-Fortaleza alberga las siguientes instalaciones: Museo del Mar, Sala Municipal de Exposiciones, Salón de Actos “Baluarte del Duque de Arcos” y Capilla de la Virgen de Loreto.