W drugiej połowie XIII wieku, na szczycie Kruczej Skały zbudowano zamek. Nieco później wybudowano kamienną wieżę obronną. Nie wiadomo, kto zbudował najstarszą część zamku – legendy podają, że był to małopolski ród rycerski Toporczyków z Morawicy.Początek warowni należy wiązać z działalnością księcia śląskiego Henryka Brodatego, który w czasie wojny przeciwko Konradowi Mazowieckiemu miał wznieść w …