Investigaciones arqueológicas y la bibliografía sobre el eremitismo nos permite situar estas estructuras rupestres conocidas como cuevas artificiales en los siglos VI y VII. Encontraríamos una población que busca la perfección en el retiro, la soledad, en moradas excavadas en roca en lugares escondidos y de difícil acceso. Se contabilizan en Valdegovía un total de dieciocho distribuidas en los lugares de Barrio, Corro, Pinedo, Valpuesta, Tobillas, Quejo y Villanueva de Valdegovía. Sirvieron como vivienda y templo a comunidades de eremitas que se oponían a la ostentación de la iglesia de aquel momento.
Corro. Se mantuvo el culto a San Juan hasta el siglo XVIII, aunque no ha sido el uso litúrgico el único que ha tenido: cementerio, refugio de nómadas... Se encuentra en la zona conocida como Solapeña. Su interior e ha labrado a pico y alcanza hasta los nueve metros. En la primera cueva el techo es abovedado y tiene nervios labrados en la roca, cuenta con dos ventanas y una pequeña hornacina. En su interior se labraron sepulturas en el suelo para los eremitas que las habitaron. La segunda de las cuevas cuenta con dos entradas y una ventana.
Pinedo. En la parte alta se pueden ver dos tumbas antropomorfas. En la parte inferior se encuentran los dos recintos que se utilizaban como templo, unidos por un arco en la parte central, aunque con puertas de entrada diferenciadas. En la cámara de la izquierda se conserva una repisa a modo de asiento para seguir la liturgia. La de la derecha es de planta cuadrada y tiene una escalera de dos peldaños que conduce a los otros recintos. También hay una hornacina que albergaría la imagen de Santiago. Cerca se encuentran los recintos de una sola cámara que utilizaban los eremitas como habitáculos.