La primera referencia documentada de la consideración de la Virgen del Castillo como patrona de Lebrija la encontramos en abril de 1643. Por estas fechas, esta imagen era venerada, no sólo dentro de este pueblo, sino por la comarca debido a la devoción que obtenía de sus innumerables fieles. En esa misma época aparece un escrito en el que se dictamina que todos los años se organice una fiesta en honor a la Virgen y se saque en procesión a ésta hasta la iglesia mayor del pueblo.