Panský pivovar tvořil jeden z významných zdrojů příjmů polensko-přibyslavského panství. Větší pozornost mu byla věnována za knížat z Dietrichsteina, kdy v roce 1712 byla nad tzv. Lázeňským rybníkem vystavěna patrová barokní budova obdélného půdorysu. Charakteristickým je zejména trojúhelný volutový štít s osazenými piniovými šiškami. Stejně jako budova měšťanského pivovaru, je i panský pivovar památkově chráněn. Na rozdíl od měšťanského pivovaru zde není hlavní pivovarská budova podsklepena, sklepy byly vybudovány samostatně v protilehlé stráni se vstupem z kůlny, a to v roce 1760. Údaj o datu zřízení sklepů pochází z označení na zděné kůlně, která je zčásti ještě původní. Velkou úpravu prodělaly sklepy v roce 1897. Svou samostatnost panský nebo též kateřinský pivovar ztratil v roce 1927, kdy byl tehdejším majitelem Jindřichem Volencem odprodán právovárečnému měšťanstvu, a sloučil se tak s pivovarem měšťanským.