Na příkaz Přemysla Otakara II. kolem roku 1265 se začalo město opevňovat hradbami. Hradby byly 12 metrů vysoké. Ke třem branám vedl zdvihací most a nad každou branou se zdvihaly dvě věže. Téměř celý tento obranný systém je díky vysokomýtským obrozencům poměrně unikátně zachován; původní hradby obkružují zhruba polovinu historického jádra. Do části hradeb na bývalém choceňském parkánu (v dnešních Jungmannových sadech) jsou od obrozenských dob vsazovány pamětní tabule připomínající významné události života města. 
Ze tří vstupních bran se dochovaly celé Pražská a Litomyšlská. Z Choceňské zvané Karaska se dochovala už jen věž. Pražská z nich je nejvyšší (48 metrů) a nejzachovalejší, před ní stojí socha zakladatele města Přemysla Otakara II. Litomyšlská brána je zase nejfotogeničtější a zdobí ji freska Mikoláše Alše - sv. Jiří bojující s drakem - heraldický symbol města.
K městskému opevnění patří také Vodárenská věž a Klášterská bašta.