Zamek w Łodygowicach położony jest w otoczeniu parku nad rzeką Żylicą.
W XVI wieku Łodygowice, podobnie jak cała Żywiecczyzna, należały do Krzysztofa Komorowskiego. W tym okresie na miejscu współczesnego założenia znajdował się drewniany dworek, o którym nie zachowało się zbyt wiele informacji. Po śmierci Krzysztofa Komorowskiego w roku 1608 Łodygowice odziedziczył jego syn Mikołaj. Mikołaj prowadził hulaszczy tryb życia w wyniku czego roztrwonił odziedziczony majątek i wieś Łodygowice trafiła w ręce kasztelana krakowskiego Jerzego Zbaraskiego. Kasztelan w roku 1629 rozpoczął budowę murowanego dworu obronnego. Niestety inwestycję przerwała śmierć kasztelana Zbarskiego. Budowę kontynuował kolejny właściciel Łodygowic, wojewoda mazowiecki Stanisław Warszycki herbu Abdank. To ten sam właściciel co fortalicji w Dankowie. Obecny pałac był zamkiem obronnym, otoczonym wałem ziemnym, fosą oraz bastionami w narożach, co czyniło z niego trudne do zdobycia fortalicjum. Warszycki rozbudowywał fortyfikacje z powodu coraz częściej wybuchających buntów chłopstwa. Założenie było na tyle mocne, że stawiło opór wojskom szwedzkim podczas Potopu Szwedzkiego. Przez następne lata zamek wielokrotnie zmieniał zarówno właścicieli, jak i wygląd. W 1866 roku zamek nabyła Klementyna Primovesi de Weber, żona Adolfa Klobusa majora austriackiego. Przebudowali oni gruntownie fortalicjum do własnych potrzeb. W wyniku przeprowadzonej przebudowy zamek utracił swoje militarne znaczenie, a część fortyfikacji została rozebrana. Rodzina Klobusów posiadała Łodygowice wraz z przyległościami aż do śmierci ostatniego potomka Otto Klobusa w 1942 r. W roku 1939 w zamku stacjonował sztab wojsk niemieckich, a w 1945 roku wnętrza dworu zostały rozkradzione przez wojska rosyjskie. Obecnie budynek zamku został zaadaptowany na placówkę kulturalną.
