Klasycystyczny pałac w Żywcu pochodzi z XVIII wieku i nazywany jest Nowym Zamkiem. W XIX wieku wcześniejszy pałac został przebudowany przez Habsburgów, nadając budowli obecny kształt.
Zamek w Żywcu zniszczono w 1477. Gdy Piotr Komorowski poparł Macieja Korwina króla Węgier, wtedy Kazimierz Jagiellończyk uznając czyn ten za zdradę, wyruszył zbrojnie na Żywiec niszcząc wtedy zamek, który wtedy był niczym innym jak budowlą obronną składającą się z wieży mieszkalnej oraz dwóch baszt. Kolejny z rodu, Jan Komorowski był fundatorem gotyckiego zamku, który powstał około 1500 roku. Składał się z dwóch budynków mieszkalnych, dwóch narożnych baszt, okrągłej będącej więzieniem oraz kwadratowej stojącej do dziś. Kolejny wiek przyniósł kolejną rozbudowę i średniowieczna warownia stała się renesansową rezydencją. Dobra żywieckie były całością do 1608 roku. Wówczas to Krzysztof Komorowski podzielił je pośród trzech synów tworząc części: suską, ślemieńską i żywiecką. Ostatnia przypadła Mikołajowi Komorowskiemu, który źle zarządzał majątkiem, prowadził wojny z sąsiadami, w wyniku których zadłużył się. By uporać się z długami zaczął wytwarzać fałszywe monety, co nie pomogło i wierzyciele najechali miasto. Na koniec zbankrutował wystawiając wszystko w 1624 roku na sprzedaż. Znalazł się kupiec na Państwo Żywieckie, była nim żona Zygmunta III Wazy- królowa Konstancja. Podczas Potopu Szwedzkiego Żywiec został zdobyty, zamek splądrowano i zniszczono. Po śmierci Jana Kazimierza Wazy w 1672 roku dobra dzierżawił Wawrzyniec Wodzicki, od którego kupił je w 1675 roku Jan Wielkopolski, kanclerz wielki koronny będący panem Pieskowej Skały. Pierwszy rozbiór Polski umiejscowił Państwo Żywieckie w zaborze austriackim. Wielkopolscy byli panami majątku do 1838 roku kiedy pogarszająca się sytuacji zmusiła ostatniego z rodu, Adama Wielkopolskiego do jego sprzedaży. Wtedy nabył je Karol Ludwik Habsburg, przyłączając Państwo Żywieckie do pozostałych majątków książąt cieszyńskich tak zwanej Komory Cieszyńskiej.
W 1895 r. Państwo Żywieckie odziedziczył Karol Stefan Habsburg. On to zamieszkał w Żywcu wraz z rodziną na stałe oraz zapoczątkował żywiecką linię Habsburgów. Żywieccy Habsburgowie zapisali się w dziejach Polski bardzo chlubnie. Dwaj jego synowie, Karol Olbracht oraz Leon Karol, okazali się być wielkim, polskimi patriotami. Karol Olbracht, polski oficer w okresie międzywojennym, w latach II wojny światowej był prześladowany i więziony przez Niemców. Jego małżonka, Alicja Ankarcrona, współpracowała z Armią Krajową. Z kolei Leon Karol walczył najpierw w wojnie polsko – ukraińskiej 1919 roku, a następnie w wojnie polsko – bolszewickiej 1920 roku, w czasie której został ranny.
