La Puglia, come tutte le regioni del mediterraneo, è caratterizzata da un paesaggio a costituzione calcarea, unico nel suo genere grazie al fenomeno carsico che nei secoli lo ha modellato come per mano di uno scultore. Infatti, sia ai bordi sia sul versante ionico del territorio regionale, sono evidenti singolari strutture morfologiche che si estendono dalla provincia di Taranto sino alla limitrofa Basilicata. Si tratta di solchi erosivi molto profondi e larghi, la cui denominazione viene attribuita al termine illirico "graba" (fossa). La loro origine è legata alla presenza di zone di fratturazione e all'azione fluviale dei ruscelli che vi si formano sul fondo nei periodi piovosi.La città di Gravina si affaccia su una delle più rappresentative "Gravine" pugliesi, da cui prende il nome: la Gravina di Botromagno. Lo studio della formazione della Gravina di Botromagno è reso interessante dal fatto che oltre ad essere un fenomeno naturale, è una conseguenza del lavoro dell'uomo: infatti la presenza di grotte sulle pareti della cavità sono un esempio tangibile di insediamenti umani, tesi sostenuta anche dai molteplici ritrovamenti archeologici che si sono avuti nella zona.
Meno lontane nel tempo risultano essere le grotte in cui sono visibili tecniche costruttive evolute o ancora quelle caratterizzate da testimonianze artistiche, da attribuire ai monaci basiliani , poiché hanno come carattere prevalente quello religioso.
Per quanto riguarda la storia geologica di quest'area proprio dalla eterogenea struttura delle pareti della Gravina, si può supporre un susseguirsi di formazioni geologiche:
a) Formazioni marine, fossilifere, da attribuire al Cretaceo;
b) Conglomerati, sabbie, argille e calcareniti di ambiente marino e con episodi continentali nella parte superiore, da attribuire all'età quaternaria.
Grazie a queste formazioni calcaree il territorio gravinese è caratterizzato dalla presenza di "tufo calcareo".Le Gravine sono anche il risultato più evidente del modellamento dei pendii ad opera delle acque correnti. Nella parte superiore dei pendii il fenomeno più ricorrente è dato dai distacchi di blocchi rocciosi, dovuto all'erosione fluviale o all'azione degli agenti atmosferici.