Barokní podobu získal kostel v letech 1718-1722 po rozsáhlé přestavbě litoměřického stavitele Octaviána Broggia. Šlo patrně o první Broggiův návrh (1704) v dynamičtějším pojetí, poté co na něj zapůsobily pražské stavby, s kterými měl možnost se blíže seznámit, když projektoval kostel Nejsvětější Trojice kláštera trinitářů v Praze. Na přání ústeckého převora H. Missenia se nechal při návrhu sv. Vojtěcha inspirovat pražským kostelem sv. Voršily. Kostel byl za vlády KSČ změněn na sklad a později na výstavní síň, byl vybílen a bylo odvezeno veškeré vnitřní vybavení. Nástěnné malby z roku 1928 byly údajně od Albina Müllera. První klášter z let 1617-1650 byl pouze jednokřídlý, větší rozsah v té době nebyl možný z finančních a politických důvodů. V rámci barokní přestavby získal klášter druhé křídlo. Jižní stěna kostela a kláštera v sobě obsahuje městské hradby.