To budowla złożona z czterech skrzydeł, okalających dziedziniec, i otoczona bastionowymi fortyfikacjami. Rezydencja, której początki toną w mroku dziejów i która od czasów powstania ulegała wielokrotnym przebudowom, obecnie wraz z bramami, wozownią i oficyną, znajduje się w stanie znacznie zdewastowanym. Pilica stanowiła w XIV w. własność rodu Toporczyków, właścicieli zamku w Smoleniu. Prawdopodobnie to oni wznieśli w Pilicy pierwszy zamek. Ród ten zaczął niebawem, od nazwy miejscowości, zwać się Pileckimi. Zamek często zmieniał właścicieli. Panami byli tu Wiśniowieccy, a potem sławny Stanisław Warszycki, który dokonał kolejnej przebudowy. Zamek o czterdziestu komnatach, otoczony został fortyfikacjami z sześcioma bastionami. Była to jak na owe czasy nowoczesna twierdza. W 1655 r. Szwedzi zdobyli jednak twierdzę, ale Warszyckiemu udało się wkrótce ją odbić. W 1705, podczas wojny północnej, obiekt znów zajęły wojska szwedzkie. W 1731 kupiła go Maria z Wesslów Sobieska, dokonując przebudowy na modłę francuską – w stylu barokowym. Wiek XIX przyniósł kolejną przebudowę, w stylu neorenesansowym oraz ozdobienie fortyfikacji w modnym wówczas stylu romantycznym i stał się pałacem. W Polskiej Rzeczpospolitej Ludowej pałac bo tak go trzeba nazywać, odebrany ostatnim właścicielom, Arkuszewskim, stał się siedzibą zakładu poprawczego dla młodzieży. Pod koniec istnienia PRL, podczas ślamazarnie posuwającego się remontu, odkryto pozostałości średniowiecznej budowli, stanowiącej prawdopodobnie pierwotny zamek Toporczyków. W czasach nam najbliższych pałac, o który upomnieli się spadkobiercy, stał się obiektem procesów.
