Di impianto altomedievale, corrisponde al “castellum quod dicitur Besti” citato in una pergamena del 1059, redatta in occasione del Concilio di Melfi. Intorno al 1240 fu ripristinato da Federico II di Svevia nell’ambito del programma di fortificazione della costa pugliese, da sempre protetta dal mare, ma ad esso anche ampiamente esposta.
L’attività di potenziamento militare era strettamente controllata dallo stesso imperatore svevo attraverso lo Statutum de reparatione castrorum, che prevedeva la divisione delle strutture castellari in Castrum e Rocche (che avevano una funzione militare) e Palatium e Domus solaciorum (case di svago). Il Castello di Vieste, che rientra dunque fra le strutture con funzione spiccatamente difensiva, fu profondamente modificato nella prima metà del XVI secolo dall’intervento spagnolo. I resti della fortificazione sveva furono inglobati nella nuova architettura, fino a perdere quasi del tutto l’impronta duecentesca.