Najljepši renesansni trg u Istri, onaj u Svetvinčentu, zacijelo ne bi bio tako slikovit da njegov sjeverni dio ne zatvara velebni kaštel. Svetvinčenat se, doduše kao naselje, spominje 983. godine u listini Otona II. U 13. st. u Svetvinčentu već postoji kaštel. Je li bio na mjestu današnjega, teško je sa sigurnošću tvrditi. S obzirom da se takvi objekti obično grade na istom mjestu, vjerojatno se i u Svetvinčentu, u vrijeme dok su njime vladali akvilejski patrijarsi i gorički grofovi, stariji kaštel nalazio na mjestu današnjeg. Moderniji, renesansni izgled kaštel dobiva nakon graditeljskih radova dovršenih 1485. Venecijanska porodica Grimani di San Luca 1560. godine dobiva u miraz Svetvinčenat i njime će gospodariti nekoliko sljedećih stoljeća.

Prema predaji, u kaštelu je 1632. godine vođen postupak protiv Marije Radoslavić pod optužbom da je vještica. S obzirom na težinu optužbe i metode isljeđivanja, Marija se nije uspjela obraniti pa je u mukama priznala optužbu, nakon čega je spaljena na lomači u dvorištu kaštela. Predaja kaže da je pravi razlog njene optužbe zapravo bio što nije prihvatila ljubavnu vezu s jednim Grimanijem.