Dobra łabiszyńskie zostały nabyte w 1762 r. przez hrabiego Franciszka Skórzewskiego, generała wojsk koronnych, zwolennika konfederacji barskiej. Kiedy syn hrabiego Fryderyk Skórzewski po raz pierwszy ujrzał zagubioną wśród nadnoteckich łąk wieś Piłatowo, urok miejsca o malowniczym krajobrazie zafascynował go, postanowił w tym miejscu wybudować w przyszłości siedzibę godną swego rodu. Stało się to w latach 1795-1800.
W Lubostroniu gościli: Stefan Garczyński, Gustaw Zieliński, ks. Ignacy Polkowski, Erazm Rykaczewski, płk. Kazimierz Mielęcki, Adam Mickiewicz, jak i przedstawiciele najznamienitszych polskich i europejskich rodów arystokratycznych: Radziwiłłowie, Czartoryscy, Czetweryńscy, Lubomirscy, Braniccy, Talleyrand-Perigord’dowie.