El núcleo de población de Los Barrios nació en 1704 y sería en el año 1760 cuando se consagró la iglesia. La Hermandad -que en 1988 incorporó a Nuestra Señora del Rosario- surgió en 1849 para rendir culto al patrón de la localidad y ofrecer una labor asistencial relacionada con la defunción y enterramiento de sus asociados. Gracias a la voluntad de dar continuidad a esta histórica Hermandad, se refundó en 1964 por el párroco José Viso Méndez. En ese mismo año se inició la celebración de la romería que en 2008 sería declarada Fiesta de Interés Turístico de Andalucía.