Enclavada a los pies de La Pedriza y orientada hacia el este, es la única ermita que queda en pie en el municipio de las siete que se levantaron a lo largo de los siglos. Su ubicación no es casual, ya que en las cercanías hay evidencias de un poblado más antiguo y la ermita pudo mantener su dedicación como lugar sagrado.
Su construcción debió comenzar a finales del siglo XV coincidiendo con el momento de máximo esplendor de la Villa, cuando los Mendoza construyen su castillo y la nueva iglesia parroquial. El edificio original, de planta cuadrada, estaba destinado a ejercer de capilla y se le adosaron la sacristía y la vivienda del ermitaño a lo largo del siglo XVII, lo que le dio su actual aspecto. La construcción aprovecha la materia prima de la zona en la mampostería de granito, y tiene sillares de refuerzo en las esquinas, puertas y ventanas. La cubierta se apoya en una cornisa decorada con las típicas bolas isabelinas, también presentes en la iglesia y en el Castillo Nuevo. A pesar de su aparente humildad, la bóveda de crucería de estilo gótico es especialmente hermosa, utilizando nervios de piedra que forman una flor enmarcada por los paños de ladrillo colocado de medio pie. También es muy destacado el arco apuntado que separa la cabecera del resto del edificio.
Gracias a la documentación histórica sabemos que, desde el siglo XVI, la ermita tenía una importante congregación de fieles que adquirió mayor importancia a partir de 1707, cuando nobles madrileños crearon la Hermandad de la Virgen de Peña Sacra y se apropiaron de los ritos en honor a la Virgen. En el día de su fiesta, tradicionalmente la población subía en procesión a la ermita desde el pueblo, pero a partir de este momento se ampliaron las ceremonias con la bajada de la imagen a la iglesia parroquial el sábado de la Pascua de Pentecostés hasta su regreso el lunes. Gran cantidad de fieles venían desde la Corte y los pueblos de los alrededores, motivo por el que se incorporaron a la fiesta el baile, los fuegos artificiales, y representaciones teatrales en la plaza del pueblo que contaban la leyenda de la aparición de la Virgen ante siete obispos sobre la Peña Sagrada.