Založení stavby nebylo jednoduché, podloží bylo zvodnělé, proto musely být použity dřevěné trámy pod hluboké základy. V roce 1662 začal objekt sloužit jako kolej, v rámci reformy Josefa II. zde vznikla kasárna a lazaret. V polovině 20. století zde našly místo provozovny drobných služeb. Rekonstrukce završená v roce 2012 očistila prostory od parazitních příček a úprav a objekt slouží kulturním účelům, nachází se zde např. galerie, expozice města, informační centrum, prodejna tradičních lidových výrobků, komunitní kavárna, atd.