Hallands kulturhistoriska museum ligger högst upp, i den gamla borgen på Varbergs fästning. Fästningen har medeltida anor och binder samman dansk och svensk historia. Det oslagbara läget på berget ger en fantastisk utsikt över det vida västerhavet. Museet har ett eget kafé. På fästningens nedre del ligger museets arkiv samt Arkiv Hallands depå norr i den vita byggnaden - Karl XI:s vita stall. Museet har till uppgift att samla, vårda och visa det Halländska kulturarvet med fokus på den kulturhistoriska aspekten. Kulturmiljö Halland är en del av Hallands kulturhistoriska museum och arbetar med de halländska kulturmiljöerna genom arkeologiska och bebyggelseantikvariska uppdrag.

Förutom museet i Varberg förvaltar museet även Båtmuseet i Galtabäck, Fågelboet i Vessigebro samt Bexellska bålastugan i Varberg.

Samlingarna tillhör Stiftelsen Hallands länsmuseer, där också Hallands konstmuseum i Halmstad ingår.