Zamek Bąkowiec znajduje się na skalistym wzgórzu. Początki zamku nie mają udokumentowanej historii. Być może pierwszą drewnianą warownie wznieśli w XIV w. Toporczykowie którzy od nazwy dóbr Morsko przybrali nazwisko Morskich. Prawdopodobnie byli rycerzami rabusiami, za co król Władysław Łokietek odebrał im Morsko i oddał wieś w 1327 r. klasztorowi w Mstowie. W dokumentach z tego okresu nie wspomina się czy w Morsku istniał zamek jednak przez analogię można przyjąć, że w czasach Kazimierza Wielkiego wzniesiono strażnicę w ramach umocnień na pograniczu Śląska i Małopolski. Możliwe jest również że zamek zbudował książę Władysław Opolczyk który pod koniec XIV w. przez krótki czas był panem tych okolic. Pierwsza pisemna wzmianka o warowni pochodzi z 1390 roku. Zamek w Morsku składał się z kilku budynków na planie wieloboku i otoczony był murem obwodowym. Budowla została wzniesiona z kamieni wapiennych, wkomponowanych w naturalną skałę wapienną. U jej podnóża w zachodniej części znajduje się prostokątna studnia. Dziedziniec gospodarczy otacza fosa i stożkowaty nasyp ziemny, na którym stała owalna baszta.
