Średniowieczny zamek w Lipie w swej pierwotnej, gotyckiej formie wzniesiony został prawdopodobnie na przełomie XIV i XV wieku. Użytkowany w 1765 przez starostę jaworskiego Georga Wilhelma von Reibnitz i jego syna Karla Friedricha gmach pozbawiony był już znaczenia obronnego i wyraźnie podupadł, po czym u schyłku XVIII wieku został opuszczony. Odtąd wykorzystywano go głównie do celów magazynowych i gospodarczych, a zbędne z punktu widzenia dysponentów segmenty zabudowy traktowano jako tanie i wygodne w eksploatacji źródło materiału budowlanego i sukcesywnie rozbierano. Szczególnie niekorzystnie zapisał się tutaj Julius Fischer, właściciel Lipy w latach 20. XIX stulecia, który zlecił rozbiórkę fragmentów zamku dolnego celem pozyskania surowca do budowy w swoim folwarku gorzelni, owczarni i stodoły.
Po roku 1917 przypuszczalnie aż do zakończenia drugiej wojny światowej właścicielami warowni była niejaka von Hunerbein, de domo von Sprenger, oraz jej córka – kapitanowa von Drabich-Waechter. Już w czasach PRL obiekt przestał być użytkowany i w szybkim tempie niszczał, do czego znacznie przyczynił się brak zainteresowania i należytej opieki ze strony ówczesnych władz. W latach 60- tych gdy dawna siedziba rycerska pełniła już tylko funkcje magazynu przy miejscowym PGR, w niektórych jej oknach znajdowały się jeszcze szyby, a budynki mieszkalne wciąż posiadały stropy oraz dach. Szansa dla upadającego zabytku pojawiła się na początku lat 70., kiedy kupiła go, mieszkająca w Szwajcarii, Bogna Rosnowska Maag. Początkowy entuzjazm właścicielki z czasem jednak osłabł i rozpoczęte prace remontowe przerwano, co praktycznie przypieczętowało los zamku, który w szybkim tempie zamienił się w piękną, acz przygnębiającą ruinę. Jeszcze całkiem niedawno część budynków posiadała dachy, okna, drzwi i dekorowane portale. Wystarczyło jednak zaledwie kilkanaście ostatnich lat, aby wszystko, co stanowiło większą wartość, zostało rozkradzione, uszkodzone lub bezpowrotnie zniszczone. Szczęśliwie dostrzeżono dyskretny urok starej warowni i z inicjatywy oraz przy udziale wolontariuszy po roku 2015 oczyszczono go z porastającej zieleni i zagrażających mu drzew, a obecnie prowadzone są prace przy zabezpieczeniu murów, a nawet częściowej ich rekonstrukcji. Nie planuje się pełnej odbudowy zabytku, a jedynie doprowadzenie go do stanu tzw. trwałej ruiny.
