Les investigacions arqueològiques i la bibliografia sobre l’eremitisme ens permeten situar aquestes estructures rupestres conegudes com a coves artificials als segles VI i VII. Ens trobaríem amb una població que busca la perfecció en el retir, la solitud, en estances excavades a la roca en llocs amagats i de difícil accés. A Valdegovía se’n comptabilitzen un total de divuit, distribuïdes als indrets de Barrio, Corro, Pinedo, Valpuesta, Tobillas, Quejo i Villanueva de Valdegovía. Van servir d’habitatge i de temple a comunitats d’eremites que s’oposaven a l’ostentació de l’església d’aquell moment.
Corro. Es va mantenir el culte a Sant Joan fins al segle XVIII, encara que l’ús litúrgic no ha estat l’únic que ha tingut: cementiri, refugi de nòmades... Es troba a la zona coneguda com Solapeña. El seu interior s’ha excavat a cop de pic i arriba fins als nou metres. A la primera cova, el sostre és voltat i té nervis treballats a la roca, compta amb dues finestres i una petita fornícula. A l’interior s’hi van excavar sepultures al terra per als eremites que les habitaven. La segona de les coves té dues entrades i una finestra.
Pinedo. A la part alta s’hi poden veure dues tombes antropomorfes. A la part inferior hi ha els dos recintes que s’utilitzaven com a temple, units per un arc a la part central, encara que amb portes d’entrada diferenciades. A la cambra de l’esquerra es conserva una lleixa a manera de seient per seguir la litúrgia. La de la dreta és de planta quadrada i té una escala de dos graons que condueix als altres recintes. També hi ha una fornícula que albergaria la imatge de Sant Jaume. A prop s’hi troben els recintes d’una sola cambra que utilitzaven els eremites com a habitatges.