Stożkowate, zalesione wzgórze, na którym widnieje charakterystyczna wieża zamku, prawdopodobnie było zamieszkałe jeszcze przed naszą erą. Zdają się to potwierdzać wykopaliska archeologiczne w postaci grotów włóczni. Zamek w Smoleniu stał zapewne już w XIII wieku, skoro z kronik wynika, że budowla obronna w tym miejscu zniszczona została podczas walk Władysława Łokietka z Wacławem, królem Czech, …