V roce 1108 je Haugsdorf poprvé zmíněn ve středověké listině. Po staletí se v roli pánů tohoto panství střídaly šlechtické rody a knížata. Vedle něj existovalo ještě druhé panství – vodní hrad –, který po třicetileté válce chátral a dnes z něj zůstaly jen fragmenty: Když se v roce 1886 odstraňovalo staré napajedlo pro koně na hlavním náměstí, narazilo se na mohutné stavební kameny a úlomky sloupů, které z něj pravděpodobně pocházejí.
Zámek, který jím být nechtěl
Během třicetileté války (1618–1648) přešlo panství do vlastnictví barona Christopha Sigmunda von Kirchberga, který tento skromný statkářský dům přestavěl na zámek. Jeden detail na fasádě dodnes prozrazuje původní účel budovy: okna s dvojitým obloukem na štítu východního křídla poukazují na bývalý sýpku – sklad obilí, nikoli reprezentační místnost.
V letech 1810 až 1819 sídlila v zámku první lékárna v Haugsdorfu. Poté se do něj nastěhovala obecní kancelář, okresní soud, daňový úřad a notářská kancelář – úřady, které se teprve s otevřením budovy spořitelny v letech 1886 a 1963 přestěhovaly do nové budovy na hlavním náměstí. Zámek byl po celé generace administrativním srdcem obce. Na konci 50. let přešla budova do soukromého vlastnictví a byla využívána jako zámecký hotel s restaurací, hospodou a kavárnou.
Mimochodem: Stipendia nadace: Rod baronů von Kirchberg, jehož historii lze vysledovat až do roku 1094, s „Cadelochem von Kirchbergem“ jako prokazatelným praotcem, tvořil „panství Haugsdorf“ s rozsáhlým majetkem luk, vinic a orné půdy. Po smrti Franciscy Polixen von Kirchberg v roce 1710 byl zřízen „Nadací barona von Kirchberga“, k níž patřilo i panství Haugsdorf. Když revoluce v roce 1848 zrušila panství, přeměnila se nadace barona von Kirchberga na charitativní, účelově vázanou instituci, která uděluje stipendia sociálně potřebným.