Najbardziej tajemniczym okresem w historii pałacu w Jedlince były lata II wojny światowej. Od jesieni 1943 roku wykorzystywany był jako główna siedziba działającej w okolicy faszystowskiej Organizacji Todt. Była to podlegająca pod ministerstwo uzbrojenia, paramilitarna organizacja zajmująca się budową obiektów wojskowych. W Górach Sowich Organizacja Todt zajmowała się budową tajemniczych podziemnych kompleksów projektu Riese. Po tej wielkiej hitlerowskiej inwestycji nie zachowały się żadne dokumenty lub plany, które pozwalałyby na jednoznaczne określenie jej przeznaczenia. Być może ta tak poszukiwana dokumentacja została w ostatnich dniach wojny ukryta gdzieś na terenie pałacu, z którego przecież nadzorowano ten tajny projekt. Po wojnie wnętrza pałacu zostały splądrowane, a w jego największych salach urządzono… magazyny na zboże.
