Zadvarje je utvrda na vrlo važnom i još u prapovijesti trasiranom putu koji iz podbiokovskog primorja vodi prema unutrašnjosti. Srednjovjekovno ime tvrđave – Duare – ima značenje „vrata“, „prolaz“ (dveri). Prvi se put u izvorima spominje 1408. godine, ali ne kao utvrda već kao jedno od sjedišta župe Radobilje - velikog područja na lijevoj obali Cetine. Od oko 1440-ih njome gospodari bosanski herceg Stipan Vukčić-Kosača, nakon čije će smrti ovi predjeli doći na kratko i u venecijanski posjed. Herceg će negdje u Radobilji oko 1450-ih, uz burne mletačke prosvjede, sagraditi istoimenu tvrđavu ne još uvijek nepoznatom mjestu.

Druga polovica 15 stoljeća je vrijeme sve jačeg turskog pritiska na ove krajeve što je rezultiralo gradnjom tvrđave u današnjem obliku. Tvrđava je završena prije 1482. godine kada se u Poljičkom statutu spominje kao „grad“. Trokutasti tlocrt flankiran je dvjema okruglim kulama na sjeverozapadnom i sjeveroistočnom kutu. Unutar tvrđave bilo je nekoliko kuća za posadu, crkvica, cisterna za vodu te spremište oružja i baruta. Njena sjeverozapadna kula sa skarpom odraz je brojnih nastojanja da se fortifikacije tijekom 2. polovice 15. stoljeća što bolje pripreme za napad topništva. Ovo je jedini primjer kule ovakvog tipa u unutrašnjosti Dalmacije. Turci će je osvojiti oko godine 1500. godine i nešto kasnije početi s dodatnim utvrđivanjem tvrđave što je i vidljivo na njenim bedemima (posebno sjevernom) i gradnjom samostalnih kula zapadno (“Kula” i “Kuletina”) i istočno (“Avala” i “Poletnica”) od tvrđave. 

U ožujku 1669. u borbi s Makaranima ispod kule Poletnice pogiba zadvarski dizdar Hasan aga-Arapović, vjerojatno muž Fortisove „Asanaginice“. Tijekom 17. stoljeća tvrđava često prelazi iz kršćanskih u turske ruke i obratno pri čemu jako stradava. Prvi put je oslobođena, prema predaji na blagdan sv. Bartula (Bartolomeja) 1646. godine, a definitvino 1684. godine.

Oslobađanjem obližnjeg Imotskog godine 1717. granica s Turcima će se pomaknuti daleko prema sjeveru čime će geostrateška važnost Zadvarja polako slabiti.