Rodzina Ostrowskich nabyła dobra Ujezdzkie w 1786 r., a w dwa lata później Tomasz Ostrowski na terenie dzisiejszego Tomaszowa uruchomił wielki piec hutniczy. Tym samym rozpoczęła się era przemysłowa tego miasta. O ile hutnictwo utrzymało się tutaj do lat 40. XIX w., o tyle już w latach 20-stych tego stulecia na plan pierwszy wysunęło się włókiennictwo, rozwijane przez kolejnego z rodu. To on dla swej ukochanej żony polecił wznieść pałac o charakterze romantycznym, który od tej pory stał się letnią rezydencją rodziny ,główną rezydencją pozostawał pałac w Ujeździe. Był to trudny czas, toczyły się wojny napoleońskie, a przemarsze nawet sprzymierzonych wojsk bywały dla ludności równie groźne jak pojawienie się sił nieprzyjacielskich. Pałac w latach 20. XIX wieku był centrum akcji osadniczej, tu hrabia Ostrowski podpisywał kontrakty wieczysto-dzierżawne. W związku z pełnioną przez dziedzica funkcją wójta przeniesiono do pałacu pocztę i kancelarię gminy, dotąd mieszczące się w Ujeździe. Po upadku powstania listopadowego, w którym hrabia Ostrowski aktywnie uczestniczył jako dowódca Gwardii Narodowej Warszawskiej, pałac wraz z majątkiem został skonfiskowany przez władze rosyjskie i stał się własnością skarbu Królestwa Polskiego. Początkowo użytkował go fabrykant Jakub Kempner, dzierżawca zakładów metalurgicznych. Potem wyposażenie pałacu zostało zlicytowane. Odtąd przez kilkanaście lat obiekt stał pusty i popadał w ruinę. Od 1851 r. pałac był własnością tomaszowskiego magistratu, który sprzedał go fabrykantowi sukna Adolfowi Krammowi pod warunkiem wyremontowania budowli. Nowy właściciel nie spełnił tego warunku i uruchomił w pałacu fabrykę, która to przyczyniła się do dalszej dewastacji. Dopiero w 1857 r. przybyły z Francji Stanisław Kostka hrabia Ostrowski odkupił pałac i znacznym kosztem wyremontował i przebudował. Odtąd budowla przybrała wygląd klasycystyczny.
