Dwór obronny w Zimnej Brzeźnicy został wzniesiony XVI w. dla rodziny von Haugwitz, a następnie rozbudowany dla von Niebelschultzów, która to rodzina posiadała dobra zimnobrzeźnickie do lat 80-tych XVII w. Następnie dwór przechodzi przez ręce kilku rodzin, von Knobelsdorffów, von Zedlitzów oraz von Heuthausenów, którzy to na początku XIX w. obok dworu wznieśli klasycystyczny pałac, a dwór przeznaczono do celów gospodarczych. Pod koniec XIX w. budynek dworu spłonął i nie został już odbudowany.