W miejscu tutejszych fortyfikacji na początku XV w. powstał zamek, który w XVI stuleciu przebudowano na reprezentacyjno-obronną rezydencję. Gruntowna rozbudowa zamku nastąpiła w latach 30-tych XVII w. Wówczas należał on do Stanisława Warszyckiego, który otoczył budowlę fortyfikacjami typu bastionowego. Stanisław Warszycki to dość interesująca, barwna, choć również moralnie kontrowersyjna postać. Ów właściciel dóbr, pan na Dankowie, marszałek trybunału koronnego, senator i wojewoda mazowiecki oraz starosta piotrkowski, był także kasztelanem krakowskim, miecznikiem łęczyckim i wojewodą sandomierskim. W posiadłościach swych rozbudowywał fortyfikacje, a także rozwijał rzemiosła, popierał handel, zakładał stawy i kopał kanały. Równocześnie dawne przekazy ujawniają drugą twarz szlachcica, który dokonywał zbrojnych najazdów i grabieży majątków swych sąsiadów, a także miał opinię bezwzględnego okrutnika i sadysty. Ponoć znajdował upodobanie w torturowaniu swych poddanych, a szczególne okrucieństwo przejawiał wobec swych żon. Jedną publicznie chłostał, drugą ponoć nawet żywcem zamurował. Fortalicja Warszyckiego, na brzegu Liswarty, otoczona była kamiennymi fortyfikacjami i bastionami w kształcie gwiazdy.
