Kristkirken
Det var for øvrig ikke den første kongelige byggevirksomheten i området. Alt sent på 1000-tallet begynte Olav Kyrre byggingen av katedralen; den store Kristkirken, og han fullførte den lille Kristkirken. Etableringen av bispesetet på Holmen – formelt fra 1170 — må ha ført med seg ytterliggere byggevirksomhet. I 1207 brente baglerne trebebyggelsen i Kongsgården med Øysteins hall. Kong Inge Bårdsson sørget for gjenoppbyggingen.
Steinhaller og steinmurer
Borgerkrigene viste at kongsgården ikke var trygg nok i ufredstider. Kong Sverre befestet derfor bergknausen ovenfor Holmen, den vi ennå kaller Sverresborg. Sverresborg var en treborg som ble bygd om i stein av sønnesønnen Håkon Håkonsson. Deretter tok kong Håkon fatt på å omskape kongsgården til et befestet slottsanlegg i stein etter tidens krav. Han «lot gjøre Apostelkirken i kongsgården i Bergen i stein. Han lot og huse kongsgården i Bergen med to gode steinhaller og steinmur omkring og kasteller over begge portene», sier sagaen. Sønnen, Magnus Lagabøte, fortsatte så byggingen av det kastellet som senere ble til Rosenkrantztårnet.