Obecny rychwałdzki dwór powstał dzięki rodzinie Milieskich, która w 1810 r. zakupiła dobra rychwałdzkie od Jana Franciszka Wielopolskiego. W 1830 r. wybudowano zespół dworski na pozostałościach dawnego XVIII-wiecznego folwarku. Do 1940 r. majątek pozostawał we władaniu rodziny Mielskich.
W 1940 r. dwór został skonfiskowany przez władze hitlerowskie i ulokowano w nim filię obozu Bund Deutsche Maedel.
Po wojnie w 1945 r. w związku z reformą rolną, zarządcą dworu została Spółdzielnia „Iskra” z Łodygowic, a następnie Stacja Nasiennictwa Krzeszowice. W 1985 r., zespół dworski przejęło Wojewódzkie Przedsiębiorstwo Komunikacyjne Katowice. Rok później jego właścicielem została kopalnia „Budryk” z Ornontowic, która przeprowadziła kompleksową odbudowę i przeznaczyła na dom wypoczynkowy dla pracowników.
W 2002 r. zespół dworski przeszedł w prywatne ręce.
