Bugaj, jako majątek ziemski był wymieniony w 1789 roku, jako własność należąca do generała Augusta Gorzeńskiego herbu Nałęcz. Generał był dziedzicem sąsiednich Koryt i Dobrzycy. Później majątek przeszedł kolejno w ręce Kazimierza Turno i Heleny Wiktorii z Rogalińskich Turnowej. W 1835 r. Dobrzycę wraz z Bugajem i Korytami na przymusowej licytacji kupił baron Henryk von Kottwitz, a następnie Ludwik Bandelow. A następnym właścicielem była Fryderyka Bandelow baronowa v. Kottwitz.
Od 1890 roku Bugaj stał się własnością hrabiego Józefa Czarneckiego, a od 1908 r. jego syna, on to z początkiem XX w. przekazał Bugaj swojemu synowi Zygmuntowi Czarneckiemu i jego żonie Izabeli z Potockich. Po śmierci Zygmunta Czarneckiego, Izabela Potocka powtórnie wyszła za mąż za Andrzeja Lipskiego. Zarejestrowana była wówczas hodowla konia szlachetnego półkrwi.
W 1946 roku, na mocy reformy rolnej, zniszczony i ograbiony przez wojska radzieckie majątek, został przejęty przez Skarb Państwa. Pierwszym zarządcą i gospodarzem została miejscowa SKR – Spółdzielnia Kółek Rolniczych. W pałacu mieściły się biura i mieszkania pracowników. W 1991 roku pałac kupił prywatny przedsiębiorca. Częściowa zmiana pokrycia dachowego nie uchroniła jednak obiektu od dalszej dewastacji.
Na szczęście w 2008 roku pałac został kupiony przez Państwo Podonowskich i dzisiaj mamy tego efekty.
