Muzej je smješten u palači Garagnin (odnosno Garagnin – Fanfogna), koja nosi stilska obilježja od romanike pa do baroka u jednom svojem dijelu, a u drugom je barokna katnica građena po zamisli Ignacija Macanovića. Zgrada se sastoji od više dijelova spojenih nadsvođenim lukom preko ulice ili direktnim naslanjanjem na starije dijelove. Ulaz je ili u glavnoj Gradskoj ulici ili preko omanjeg trga u dvorište, u čijim je gospodarskim zgradama danas dio postava.