Tvrdalj je postepeno građen tijekom stoljeća u Tvrdaljskoj uvali uz brojne pregradnje i nadogradnje. Obitelj Hektorović se tek 1448. spominje kao vlasnik posjeda Tvrdalj kada dobivaju dozvolu za gradnju kuće te ih s vremenom podižu čak četiri. Nakon smrti oca, Petar otkupljuje dijelove Tvrdalja od svojih rođaka (do 1540.) te ga počinje pretvarati u ladanjski kompleks s perivojem oko ribnjaka. Tvrdalj spaja obrambeni i ladanjski tip arhitekture (kaštel i dvorac) što mu daje poseban izgled utvrđene renesansne vile. Uskoro Petar pred Turcima bježi u Italiju odakle se vraća 1541. godine.