Dal convento annesso alla chiesa si accede alla cripta rupestre, oggi riferita a San Leonardo ma citata dagli studiosi con intitolazioni diverse Sant'Angelo o San Benedetto de Grecis, San Cipriano.
Secondo il Nardelli, che la dice dedicata al culto di San Michele, vi avrebbe predicato l'apostolo Pietro, sbarcato in Puglia durante il suo viaggio alla volta di Roma.

A navata unica e di forma irregolare è conclusa da una sola abside ove è collocato un altare in pietra.
Nella conca absidale è raffigurata una Deesis, Cristo in trono tra Maria e Giovanni, affiancata da una coppia di santi, mentre subito a destra vi è la figura di un arcangelo.
Il Cristo Pantocratore, assiso su di un trono, benedice alla greca e regge nella mano sinistra un libro aperto.
La presenza di tombe ad arcosolio fa supporre che si trattasse di una cappella funeraria.
Le pitture e le iscrizioni latine consentono di collocarla al XIII secolo.