Haugsdorf sa prvýkrát spomína v stredovekej listine z roku 1108. Po stáročia sa na panstve striedali šľachtické rody a panovníci. Existovalo tu aj druhé panstvo - hrad s prístavbou -, ktoré po tridsaťročnej vojne zaniklo a dnes ho možno nájsť len vo fragmentoch: pri odstraňovaní starého konského rybníka na hlavnom námestí v roku 1886 sa našli obrovské stavebné kamene a kusy stĺpov, ktoré mohli pochádzať práve z neho.
Hrad, ktorý ním nechcel byť
Počas tridsaťročnej vojny (1618 - 1648) sa panstvo dostalo do vlastníctva baróna Christopha Sigmunda von Kirchberga, ktorý jednoduchú usadlosť prestaval na hrad. Detail na fasáde dodnes prezrádza jej pôvodný účel: dvojkrídlové okná na štíte východného krídla naznačujú bývalú sýpku - sklad obilia, nie reprezentačnú miestnosť.
V rokoch 1810 až 1819 bola v zámku prvá haugsdorfská lekáreň. Potom sa sem presťahovala mestská kancelária, okresný súd, daňový úrad a notársky úrad - úrady, ktoré sa do novej budovy na hlavnom námestí presťahovali až po otvorení budovy sporiteľne v roku 1886, resp. 1963. Zámok bol po celé generácie administratívnym centrom mesta. Koncom 50. rokov 20. storočia sa budova stala súkromným majetkom a slúžila ako zámocký hotel s reštauráciou, krčmou a kaviarňou. V súčasnosti sa reštaurácia nachádza v priľahlej sýpke.
Mimochodom: Stipendium podľa založenia: Baróni z Kirchbergu, ktorých história siaha až do roku 1094, s "Cadeloch von Kirchberg" ako overiteľným predkom, vytvorili "panstvo Haugsdorf" s veľkou držbou lúk, vinohradov a poľnohospodárskej pôdy. Po smrti Francisca Polixena von Kirchberg v roku 1710 bol založený "Freiherr von Kirchberg's Stiftungsfonds", do ktorého patrilo aj panstvo Haugsdorf. Keď revolúcia v roku 1848 zrušila panské majetky, nadácia Freiherr von Kirchberg sa zmenila na charitatívnu účelovú inštitúciu, ktorá udeľovala štipendiá sociálne odkázaným osobám.
