Il Castello fu edificato su di un promontorio detto Punta Penna, a nord della città in un punto che nei documenti è citato come promontorium. Era la parte della penisola che corrispondeva al punto terminale della Monopoli medioevale. In origine, quindi, l'insediamento doveva trovarsi alla periferia del nucleo urbano per essere poi inglobato nel corso del XII e XIII secolo fra i sobborghi settentrionali della città. Il castello ha una pianta pentagonale con torri ai vertici e si sviluppa su due livelli. Il parametro è realizzato in conci squadrati di tufo calcareo.

L'accesso principale è situato sulla facciata sud-ovest in corrispondenza di una torre cilindrica, successiva all'impianto originario, alla quale si accede mediante una breve rampa. La torre è dotata di un vano per l'alloggiamento del ponte levatoio ed è coronata in alto da arcatelle a tutto sesto aggettanti e piccole cose scolpite nel tufo. A sinistra della torre è visibile un brano delle antiche mura. La parte destra, invece, appare maggiormente ingentilita in seguito agli interventi di modifica e adattamento che accompagnarono il castello nel XVII secolo, durante il passaggio dalla funzione difensiva a quella residenziale.

In alto si osservano grandi aperture strombate per i cannoni. La facciata nord-est è quella più esposta alle correnti marine. La continuità di questa facciata è interrotta dall'inserimento di un bastione pentagonale con una loggia e caditoie. Sotto la loggia lo stemma in pietra con la data del 1552 e il nome del vicerè Don Pedro del Toledo, realizzatore del complesso.

Il 1660 rappresenta una tappa fondamentale della vita del castello: una serie di lavori e ristrutturazione e ampliamento ne trasformano in modo sostanziale la fisionomia esterna, oltre che la destinazione interna degli ambienti. Da semplice baluardo difensivo diventa castello- residenza Nella prima metà del XIX secolo il castello diventa carcere mandamentale fino al 1969.

Il castello racchiude diversi tesori, importantissimi dal punto di vista storico-artistico:
La chiesa rupestre di San Nicola de Pinna, fondata alla fine del X secolo dal monopolitano sassone.
Una grande porta ad arco in blocchi di pietra squadrati, con un'asola per lo scorrimento verticale di un'inferriata o un altro sistema di chiusura. E' l'elemento più misterioso e secondo le ipotesi il più antico presente all'interno del castello.
Un brano della cinta muraria a scarpata, visibile in un angolo del grande vano ad "L", al piano banchina.
Un interessantissimo ambiente cisterna corrispondente al vano, ricavato all'interno delle mura antecedenti al castello.

Nella seconda metà del XX secolo, il castello attraversa un decennio di abbandono e poi uno di restauri.