V roku 1108 sa Haugsdorf po prvýkrát spomína v stredovekej listine. Po stáročia sa ako vlastníci panstva striedali šľachtické rody a kniežatá. Okrem toho existovalo aj druhé panstvo – vodný hrad –, ktorý po tridsaťročnej vojne chátral a dnes sú z neho zachované už len fragmenty: Keď v roku 1886 odstránili staré napájadlo pre kone na hlavnom námestí, narazili na mohutné stavebné kamene a úlomky stĺpov, ktoré pravdepodobne pochádzajú práve z neho.
Zámok, ktorý ním nechcel byť
Počas Tridsaťročnej vojny (1618–1648) sa panstvo dostalo do vlastníctva baróna Christopha Sigmunda von Kirchberga, ktorý premenil skromný statkársky dvor na zámok. Jeden detail na fasáde dodnes prezrádza pôvodné určenie budovy: okná s dvojitým oblúkom na štíte východného krídla poukazujú na bývalú sýpku – sklad obilia, nie reprezentačnú miestnosť.
V rokoch 1810 až 1819 sídlila v zámku prvá lekáreň v Haugsdorfe. Následne sa do neho nasťahovali obecná kancelária, okresný súd, daňový úrad a notárska kancelária – úrady, ktoré sa až s otvorením budovy sporiteľne v rokoch 1886 a 1963 presťahovali do novej budovy na hlavnom námestí. Zámok bol po celé generácie administratívnym srdcom obce. Na konci 50. rokov sa budova dostala do súkromného vlastníctva a slúžila ako zámocký hotel s reštauráciou, pubom a kaviarňou.
Mimochodom: štipendiá prostredníctvom nadácie: Rod barónov von Kirchberg, ktorého história siaha až do roku 1094, s „Cadelochom von Kirchbergom“ ako doloženým zakladateľom, tvoril „panstvo Haugsdorf“ s rozsiahlymi lúkami, vinicami a ornou pôdou. Po smrti Franciscy Polixen von Kirchberg v roku 1710 bol zriadený „Nadácia baróna von Kirchberga“, ku ktorej patrilo aj panstvo Haugsdorf. Keď revolúcia v roku 1848 zrušila zemepanské panstvá, nadácia baróna von Kirchberga sa premenila na charitatívnu inštitúciu s konkrétnym účelom, ktorá udeľuje štipendiá sociálne odkázaným osobám.