Do sekularyzacji majątków klasztornych w 1810 wieś Kazimierz stanowiła własność zakonu cystersów.
W 1813 pałac z przyległymi dobrami kupił Fryderyk Wilhelm Bernard von Prittwitz i Gaffron, tajny starszy radca finansowy króla Fryderyka Wilhelma III.
Wokół pałacu znajdowały się zabudowania gospodarcza oraz park krajobrazowy ze stawem. W pobliżu znajdował się las dębowy.
Pałac przetrwał II wojnę światową bez zniszczeń. Został siedzibą państwowego gospodarstwa rolnego. W 1946 polski sołtys urządzał w pałacu zabawy i festyny. Następnie obiekt został przejęty przez Gminną Spółdzielnię. Urządziła ona w nim magazyn pasz, węgla i nawozów sztucznych. Ulokowano w nim kasę, gospodę, sklep spożywczy oraz sklep z obuwiem.
Z czasem opuszczony pałac zaczął popadać w ruinę.
Kaplica przypałacowa
