El actual castillo de Berlanga de Duero es obra del siglo XVI, fecha en la que se construyó sobre otra fortaleza erigida en la centuria anterior. Fue alrededor de 1527 cuando se demolió gran parte del edificio del siglo XV, salvo su torre del homenaje que se incorporó a las murallas del recinto. Se halla rodeado de una muralla con elementos artilleros del siglo XVI, fecha en la que también se comenzó, junto al castillo, la construcción de un palacio. Ello motivó el abandono de las obras de la fortaleza, que a partir de este momento se destina a almacén y prisión.

El acceso al castillo se realiza por el lado Sureste del recinto, junto a la torre del homenaje del antiguo castillo. Esta torre, de planta alargada, se encuentra rematada por garitones almenados en sus ángulos y centrados con cada uno de sus lados. Sus lienzos se hallan decorados con escudos de la familia Tovar y Velasco. Hay autores que han relacionado la construcción de las zonas pertenecientes al siglo XVI de este castillo de Berlanga de Duero, con el ingeniero militar italiano Benedetto di Ravenna, que realizó distintos trabajos en España por deseo del emperador Carlos V. El castillo, de marcada apariencia militar, se halla realmente sin concluir, pues la edificación de un palacio y jardines renacentistas en la llanura que le precede, convirtieron la fortaleza de Berlanga de Duero en un almacén, ocasionalmente destinado a prisión.