W drugiej połowie XIII wieku, na szczycie Kruczej Skały zbudowano zamek. Nieco później wybudowano kamienną wieżę obronną. Nie wiadomo, kto zbudował najstarszą część zamku – legendy podają, że był to małopolski ród rycerski Toporczyków z Morawicy.Początek warowni należy wiązać z działalnością księcia śląskiego Henryka Brodatego, który w czasie wojny przeciwko Konradowi Mazowieckiemu miał wznieść w okolicy trzy zamki, albo z aktywnością biskupa krakowskiego Muskaty, przeciwnika politycznego Władysława Łokietka i domniemanego fundatora kilku warowni w zachodniej Małopolsce. Pierwsza wzmianka o zamku pojawia się dopiero pod koniec XIV wieku, kiedy to występuje w dokumentach burgrabia Iwo z Rabsztyna oraz bliżej nieznany kapelan zamkowej kaplicy o imieniu Grzegorz. Przypuszcza się, że po śmierci Kazimierza Wielkiego, za rządów którego zamek zbudowano, albo przynajmniej rozbudowano istniejące wcześniej założenie, trafił on w ręce wpływowego rodu Leliwitów-Melsztyńskich. U schyłku stulecia właścicielem Rabsztyna miał być Spytko Drugi, młody wojewoda krakowski i zarządca Podola, zmarły tragicznie w 1399 roku pod Worskłą podczas bitwy z hordami tatarskimi.Po tragicznej śmierci Spytka majątek po nim odziedziczyła żona Elżbieta Melsztyńska. Rok później królewszczyznę krakowską z rąk Elżbiety zamierzał wykupić podstoli Piotr Szafraniec z Pieskowej Skały oferując za nią ogromną jak na owe czasy sumę 1,100 grzywien srebra…