La petita ermita de Sant Pelaio es troba entre Bakio i el cap Matxitxako. És una de les ermites més populars de Biscaia, tant per la seva pintoresca ubicació en un vessant escarpat amb vistes al mar com per la seva antiguitat. Cal destacar que aquest edifici és un dels pocs exemples d’estil romànic a Biscaia.
Datada al segle XII, al llarg de tot el seu perímetre està envoltada per un ampli pòrtic amb sostre de fusta, un tret comú en moltes esglésies i ermites de Biscaia.
L’element més clar de la seva identitat medieval és la delicada finestra que decora l’absis amb motius vegetals i geomètrics.