La larga historia de la ermita comienza cuando fue una antigua casa romana perteneciente a un patricio romano, llamado Lepero. La casa constaba de varias habitaciones una de las cuales comunicaba a una torre. Dicha torre ha sido construida en diferentes épocas: la base es romana y la parte superior es de época árabe.

La ermita fue reedificada y bendecida por el obispo de Assido Pimenio, el 16 de diciembre del 630, como constata una lápida que sirve de umbral a la actual puerta de la sacristía. 

Con la llegada de los árabes, la iglesia Asidonense se retiró con sus vasos sagrados a esta ermita para celebrar los oficios divinos. Con la llegada de los reyes de Castilla se amplió, formándose tres naves y pasando a ser el antiguo altar a la actual sacristía.

Hay que destacar la inscripción de Lepero "Lepero renovit sed sacrv" ("Lepero la renovó y ofreció a Dios"), esculpida en un pedestal romano que fue aprovechado para formar la segunda columna de la iglesia. En las columnas de la puerta y el antealtar se encuentran capiteles romanos y corintios.

En el altar o ara paleocristiano de mármol blanco se venera la imagen de la Virgen del Loreto, patrona de la hermandad de los labradores y ganaderos de la comarca; talla policromada del siglo XVII, que fue traída desde Italia en 1666 por Juan de Viera, hermano mayor de los ermitaños. Ha sido objeto de diversas restauraciones en 1670, 1871 y 1996 siempre por intervención popular