Muzej, osnovan 1971. g., smješten je u Starom gradu Ozlju, koji je djelomično dostupan posjetiteljima, a muzejska je građa pohranjena zbog radova na objektu.

Srednjovjekovni grad Ozalj spominje se već u 13. st., u posjedu Frankopana je od 1398. g., dok Zrinskima pripada od 1577. do 1671. g. Obnovljeni "palas Zrinskih" sačuvao je svoj izgled iz 16. st. Nad ulaznim vratima na prvom katu uklesan je natpis "NICO. COM. ZR. 1.5.5.6" (Nicolaus comes Zriniensis 1556 = Nikola grof Zrinski 1556), a na zidovima u unutrašnjosti sačuvane su vrijedne freske vjerskog sadržaja te natpisi na glagoljici i na latinskom jeziku iz 16. i 17. st.
Nakon smaknuća Petra Zrinskoga (1671.) ozaljski dvorac mijenja vlasnike. Tijekom 18. i 19. st. grad doživljava pregradnje, među kojima se ističe gradnja novog baroknog trakta. Od knezova Thurn i Taxis 1928. g. na dar ga dobiva Družba braće Hrvatskoga zmaja, koja nakon sanacije i obnove u jednom njegovu dijelu otvara izletište, a u drugome Zrinsko-frankopanski muzej, galeriju slika, arhiv i knjižnicu.

U sjevernom dvorištu i podrumu žitnice otkrivena je neolitska nastamba lenđelske kulture (4000./3000. pr. Krista), s kompletnim ostacima zgarišta, kuhinjskim posuđem, podnim oblogama od zapečene gline, zidnog lijepa, a sačuvan je i koštani alat.
Nalazi brončanodobne kulture žarnih polja potječu iz grobova otkrivenih na brežuljku u blizini Staroga grada.
Iz rimskog razdoblja (3. - 6. st.) potječe novac careva Valerijana i Klaudija, fibula iz 6. st., fragmenti keramike terrae sigillate, dijelovi ratničke i konjske opreme. Razdoblju širenja kršćanstva pripadaju uglavnom nalazi metalne građe, a iz srednjeg vijeka potječe ostruga karolinškog tipa iz 9. st., nađena pokraj ulaza u grad.