En la gran roca que separa las dos playas se asentaba la fortaleza que servía de defensa ante las incursiones de piratas argelinos y berberiscos, en los siglos XIV, XV y XVI. Posteriormente el Castillo fue abandonado, quedando en la actualidad sólo algunos restos de las murallas, que yacen sobre las rocas del mirador, conocido también como "Balcón del Mediterráneo".