Morto Alberto, la contea fu devoluta alla Regia Corte e quindi assegnata a Gilberto de l' Aigle, cui successe - dopo appena un decennio - Riccardo de Say, un altro discendente da nobile e storica famiglia subalpina. Nel frattempo veniva incoronato a Roma Federico II, erede e successore di Enrico VI sui troni di Germania e di Sicilia. Lo Svevo, nella sua visita alle provincie del Regno nel 1223, raggiunge Gravina, vi fa costruire un « parco per l'uccellagione », eleva la città a sede della Curia Generale per la Puglia, la Basilicata e la Capitanata - destinata a raccogliere le querele e a istituirvi i relativi processi - e vi istituisce, sembra, il maristallato: cioè l'allevamento razionale del cavallo pugliese in un fabbricato, cui corrispose più tardi lo stabile detto la cavallerizza, demolito nel 1933 per far posto all'attuale edificio scolastico S. G. Bosco.
Morto nel 1250 il colto e saggio Puer Apuliae, gli succedono Corrado al trono e il legittimato Manfredi nel Ducato di Puglia, ma alla morte di costoro il Regno di Sicilia rimane definitivamente in potere di Carlo d' Angiò che - trasportata la sua reggia Palermo a Napoli - muta l'antico assetto della monarchia con nuove disposizioni legislative.
A Ludovico de Bellojoco primo feudatario angioino, successe nel 1282 Burcardo o Riccardo di Monmorency, il quale seppe soltanto sobbarcare la popolazione di pesanti tributi fiscali. Con Giovanni di Monfort, conte di Squillace e di Montepeloso (l'attuale Irsina), oltre che Camerario del Regno, gli usi civici - poco rispettati dai predecessori - vengono ripristinati, l'antica fiera annuale d'importazione e d'esportazione (già concessa nel 1294 da Carlo II d' Angiò) e l'istituzione della « gabella della baiulazione » regola la raccolta delle rendite demaniali.
L'assassinio di Andrea d'Ungheria, marito della bella e dissoluta Giovanna d' Angiò e fratello del re Luigi d'Ungheria, ne scatena l'ira e, col pretesto di tutelare i diritti dal nipote Carlo Martello, piomba in Italia, destituisce - temendone un tiro mancino - il conte di Gravina Carlo di Durazzo, che pur gli si era sottomesso, lo fa decapitare e dona il feudo s era al suo luogotenente Stefano di Lomit, voivoda della Transilvania.
Sotto gli Ungheresi la cerchia delle mura viene allargata, le porte munite di torrioni e, per ragioni tattiche, accanto ai nuovi fortilizi vengono - sembra - scavate alcune gallerie tra la porta nord e quella sud; dopo alterne e burrascose vicende, la città torna in potere degli eredi del conte di Durazzo, passa da un feudatario all'altro e di successione in successione, nel 1423, al capitano di ventura Francesco Orsini, prefetto di Roma.
Deceduta intanto, senza eredi legittimi, Giovanna II, il Regno di Napoli ricade in subbuglio per la successione al trono, disputata da Ludovico III d' Angiò e re Alfonso V d' Aragona.