Rodowód niewielkiej strażnicy w Bydlinie z uwagi na niedostępność źródeł ginie w mrokach dziejów, trudno więc o jednoznaczne określenie, kto i kiedy ją zbudował. Istnieje nawet opinia, że budowla ta nigdy nie była zamkiem i od początku do końca pełniła przede wszystkim funkcje sakralne. Po raz pierwszy o warowni w Bydlinie wzmiankowano w dokumentach z 1398 roku, w tym czasie stanowiło ono ważne ogniwo w systemie obronnym na pograniczu polsko-śląskim. Jego właścicielami byli Pełka i Niemierza, bratankowie Niemierzy herbu Śmiara, któremu czasami przypisuje się fundację murowanego założenia. Według niektórych badaczy fortyfikacja przez pewien czas należała do jednego z nieślubnych synów króla Kazimierza Wielkiego. W latach 1398-1400 pretensje do zamku zgłaszali bracia Klemens i Zbigniew z Łapanowa oraz Klemens z Lubczy, kanonik krakowski. W końcu XV stulecia Bydlin przeszedł w ręce rodu Szczepanowskich, później dziedzicami byli tutaj Brzeziccy, a następnie Bonarowie, którzy na początku XVI wieku przebudowali warownię na kościół.