La pequeña ermita de San Pelaio está situada entre Bakio y el cabo Matxitxako. Es una de las más populares de toda Bizkaia, tanto por su asentamiento pintoresco sobre un ribazo asomado al mar, como por su antigüedad. Cabe destacar que se trata de una de las escasas muestras del arte románico en Bizkaia.
Es una ermita del siglo XII, rodeada por un amplio pórtico con cubierta de madera que recorre todo su perímetro, característica común en muchas iglesias y ermitas vizcaínas.
La seña más clara de su identidad medieval es la delicada ventana que adorna el ábside del templo con motivos vegetales y geométricos.