El origen de la singular romería en honor a la Alcaldesa Perpetua de Algeciras; título con el que se le conoce a la virgen, viene desde el siglo XVIII cuando un barco que venía desde Italia atracó en las playas de Algeciras debido al mal tiempo, cuando la tempestad pasó el barco quiso seguir su destino, pero era devuelto nuevamente a la playa por el viento. El mal tiempo no cambió hasta que sacaron del interior del barco a una virgen con una palma, coincidencialmente la imagen era muy parecida a la traída por Alfonso XI cuando conquistó a Algeciras durante el dominio musulmán, esta imagen había desaparecido, por lo que se interpretó que la virgen del barco había llegado para quedarse. Con el tiempo fue designada patrona y en su honor, el 15 de agosto fue designado como el día de las fiestas de la virgen de la Palma en Algeciras.

Desde 1975 con motivo de estas fiestas, se realiza una singular romería marítima en la playa El Rinconcillo, ese día la imagen de la virgen sale de una gruta que está ubicada a 15 metros bajo el agua de la bahía. Sale a la una y media escoltada por un grupo de buzos y barcos engalanados, luego la trasladan a la plaza de la Virgen del Mar donde es venerada hasta la medianoche. Después de eso, la talla de 1.10 metros y 100 kg vuelve a su altar submarino, mientras el cielo se llena de fuegos artificiales.

La singular procesión se dio por iniciativa de la Sociedad Federada de Pesca Deportiva El Mero, quienes hicieron una réplica de la virgen y luego la sumergieron en el agua, en 1999 una corriente marina la desplazó y un año más tarde tuvieron que reemplazar con otra.