Stożkowate, zalesione wzgórze, na którym widnieje charakterystyczna wieża zamku, prawdopodobnie było zamieszkałe jeszcze przed naszą erą. Zdają się to potwierdzać wykopaliska archeologiczne w postaci grotów włóczni. Zamek w Smoleniu stał zapewne już w XIII wieku, skoro z kronik wynika, że budowla obronna w tym miejscu zniszczona została podczas walk Władysława Łokietka z Wacławem, królem Czech, w 1300 roku. W połowie XIV wieku nowa, murowana warownia, wzniesiona została prawdopodobnie przez Ottona z Pilczy herbu Topór. Pierwsza pewna wzmianka o Zamku w Smoleniu pochodzi z 1394 roku. Początkową bryłę zamku stanowiła niewielka kamienna budowla z wysoką wieżą. Na przełomie XIV i XV wieku panią na Smoleniu była Elżbieta Pilecka-Granowska, trzecia żona Władysława Jagiełły. Zamek Pilcza był w rękach rodziny Pileckich do drugiej połowy XVI w.Obiekt systematycznie się rozrastał poprzez dobudowywanie dwóch zamków dolnych. Ale kolejni właściciele, Padniewscy, dość szybko przenieśli się do Pilicy, gdyż zamek w Smoleniu był dla nich za mały. Opuszczony zamek został zniszczony podczas najazdu szwedzkiego.
