Ako u Europi svi putovi vode u Rim, onda u Istri svi putovi vode u Žminj, središte Istre i staro sjecište putova. U 15. stoljeću podignut je kaštel najvjerojatnije četvrtastog tlocrta. Posve je izvjesno da je na istočnom bedemu imao dvije kule, a možda su dvije slične branile i zapadni bedem, dok su unutrašnje dvorište činile zgrade prislonjene na bedeme. Uz zgrade prislonjene na južni bedem podignuta je kapela Presvetog Trojstva, oslikana rukom nepoznatog majstora 1471. g. Žminj je bio važna utvrda, ponajprije stoga što je kao austrijska tvrđava stajao nasuprot onoj mletačkoj u Svetvinčentu. Pripremajući se za sukob s Venecijom, austrijski je nadvojvoda 1612. g. u Žminju držao oko 200 pješaka. Žminjska je posada tijekom rata od 1615. do 1618. često napadala Mlečane uništavajući im ljetinu, osobito sijeno koje su prevozili od luke u Fažani do Svetvinčenta pa su zbog nedostatka sijena mletački konjanici bili gotovo nemoćni. No, kako to obično biva, izdajnik je u siječnju 1617. Mlečane potajno uveo u kaštel. Za tu je uslugu dobio doživotnu plaću od šest dukata mjesečno, ali u strahu za svoj život, odselio se na Kretu.