Le musée se trouve dans un château médiéval (XIIIe et XIVe siècles) intégré dans l'ancienne ceinture de fortification de la ville. Son architecture a été remaniée au XVIIIe siècle.