Dalla strada che dal Colle Orbo conduce al fondo della Cava di San Giovanni (solcata da un piccolo torrente) troviamo la piccola Chiesa di Santa Maria delle Grazie, edificata nella seconda metà del 1600 in seguito al ritrovamento di un’immagine che raffigurava la “Madonna col Bambino” (stessa cosa avvenuta qualche anno più tardi sul poco distante sito di Avola Antica in cui sorge una Chiesa dedicata alla suddetta “Madonna”) all’interno di una piccola grotta ora inglobata all’interno della chiesetta, che venne poi restaurata dopo il terremoto del 1693. Questa chiesa è aperta al culto solo una volta all’anno il 2 Luglio in occasione della festa della “Madonna delle Grazie”.
L’esterno della Chiesa è in stile semplice. La facciata possiede un elegante portale arcuato sormontato da una finestrella a croce. Il frontone della facciata possiede due obelischi ai vertici della facciata, mentre al centro vi è la piccola torretta campanaria. L’interno ad unica Navata possiede un piccolo Altare su cui è collocata l’immagine della “Madonna delle Grazie” venerata a Palazzolo, nonché l’interno della grotta in cui essa venne ritrovata.
Dietro la chiesa vi sono le rovine di vari ipogei rupestri, molto probabilmente antiche tombe siculo – ellenistica riutilizzate come ovili rupestri.