La iglesia de Olleros es la mayor expresión de la arquitectura rupestre en España. Se ha ganado el sobrenombre de Catedral rupestre. Se trata de la iglesia rupestre de los Santos Justo y Pastor y está emplazada en las faldas del monte Cilda. La iglesia, abovedada, cuenta con dos naves —eremitorio y sacristía—, espadaña y un conjunto en el exterior de tumbas antropomorfas donde se cree también existe un cementerio medieval. Data de los siglos VIII-IX, incluso se apunta la primera construcción en el siglo VI o VII. Se trata de uno de tantos edículos rupestres como hay en la comarca. Estos testimonios tienen en el norte de la provincia de Palencia un amplio muestrario (Villarén de Valdivia, Cervera de Pisuerga, Cezura o Villacibio).
Junto a la iglesia, unos metros antes de llegar, se encuentra una torre sobre una gran roca semienterrada y que corresponde al antiguo baptisterio.
Otra de las lauras está próxima a la iglesia rupestre y labrada igualmente sobre el farallón de arenisca. Servía de habitáculo de los eremitas y hay otras por las cercanías.
Ya en la iglesia el interior sorprende por sus dimensiones, con dos salas, columnas, coro de madera, pila bautismal, altares e incluso un sepulcro con los restos de algún abad que habitó en la zona.
Uno de los escasos vanos, que, junto al de la puerta, iluminan la iglesia. Al fondo vemos la entrada a la sacristía con una cruz pintada sobre su entrada
En uno de los lados de la nave del evangelio se ha instalado esta ara, que, por sus inscripciones y dibujos, parece de época visigótica o contemporánea de la primitiva construcción (siglos VIII al X).
La iglesia de San Justo y Pastor es una de las más valiosas de todo el Románico de Palencia: esto se debe a su extraordinaria arquitectura, ya que está excavada en la piedra arenisca.