Ombygget middelaldertårn
Det var middelaldertårnet fra 1200-tallet slottsbefalingsmannen Erik Rosenkrantz bygde om i 1560-årene, til dels med stein fra det nedrevne klosteret på Lyse. Kongen, Frederik II, hadde pålagt Erik Rosenkrantz å rive det gamle brøstfeldige tårnet og bygge et nytt. Men rike gotiske bygningsdetaljer i tre etasjers høyde i dagens tårn viser at herr Erik må ha oppfattet middelaldertårnet som en ressurs å bygge videre på. Gerhard Fischers undersøkelser etter krigsødeleggelsene i 1944 har bekreftet at dette må være det «kastelllet ved sjøen» som Magnus Håkonsson (Lagabøte) lot oppføre.
Skotske murere
Det Rosenkrantz gjorde, var å bygge kastellet sammen med slottshøvedsmann Jørgen Hanssøns ringmur og forborg fra begynnelsen av 1500-tallet, bygge på det hele i høyden og legge på en ny og tidsmessig fasade mot sør — mot Bryggen og byen. Mens kastellet som hallen hadde vært preget av engelske forbilder, var de nå skotske. At Rosenkrantz brukte skotske murere, er dokumentert.