První zmínka o Haugsdorfu pochází ze středověké listiny z roku 1108. Po staletí se v držení panství střídaly šlechtické rody a panovníci. Existovalo zde také druhé panství - hrad s příkopem -, které po třicetileté válce zchátralo a dnes se s ním můžeme setkat jen ve fragmentech: když byl v roce 1886 odstraněn starý koňský rybník na hlavním náměstí, byly nalezeny obrovské stavební kameny a kusy pilířů, které z něj mohly pocházet.
Hrad, který jím nechtěl být
Během třicetileté války (1618-1648) se panství dostalo do majetku barona Christopha Sigmunda von Kirchberg, který prostý statek přestavěl na zámek. Detail na fasádě dodnes prozrazuje jeho původní účel: dvoukřídlá okna na štítu východního křídla ukazují na bývalou sýpku - sklad obilí, nikoliv slavnostní místnost.
V letech 1810-1819 byla v zámku umístěna první haugsdorfská lékárna. Poté se sem nastěhovala městská kancelář, okresní soud, finanční úřad a notářství - úřady, které se do nové budovy na náměstí přestěhovaly až po otevření budovy spořitelny v roce 1886, resp. 1963. Zámek byl po celé generace správním centrem města. Koncem 50. let 20. století se budova stala soukromým majetkem a sloužila jako zámecký hotel s restaurací, hospodou a kavárnou. V současné době je restaurace umístěna v přilehlé sýpce.
Mimochodem: Stipendium podle založení: Baroni z Kirchbergu, jejichž historii lze vysledovat až do roku 1094, s "Cadelochem von Kirchberg" jako prokazatelným předkem, vytvořili "panství Haugsdorf" s rozsáhlým hospodářstvím s loukami, vinicemi a zemědělskou půdou. Po smrti Františky Polixeny von Kirchberg v roce 1710 byl založen "Freiherr von Kirchberg's Stiftungsfonds", k němuž patřilo i panství Haugsdorf. Když revoluce v roce 1848 zrušila panství, byla nadace Freiherr von Kirchberg přeměněna na charitativní účelovou instituci, která udělovala stipendia sociálně potřebným.