Naselje Sv. Petar u Šumi dobilo je ime po benediktinskom samostanu koji se u latinskim dokumentima zove Monasterium Sancti Petri in Sylvis - Samostan Sv. Petra u Šumama. Samostan se prvi put u dokumentima spominje 1174. s nejasnom napomenom da postoji već pedeset godina, ali sigurno je postojao i prije 1124. Legenda govori da je u Sv. Petru u Šumi boravio mađarski kralj Salomon nakon što je u dinastičkim borbama zbačen s prijestolja. Kasnije je prešao u samostan Sv. Mihovila na Brijegu kod Pule, gdje je umro 1089. Za razliku od drugih istarskih mjesta gdje se naselje oblikuje na brdu: na vrhuncu je crkva a uz crkvu i uz rubove brda nižu se kuće, ovdje ni oko crkve ni oko samostana nije bilo kuća, da bi se sačuvao mir redovnika. Supetarci su živjeli udaljenijim selima obrađujući polja i vinograde. Nad Dragom je do 15. stoljeća postojao je utvrđeni kaštel Ad Vicinatum (možda Vižinada?), od kojeg nije ostalo ništa, osim toponima Sv. Toma, po crkvi koje više nema.