Dobra łabiszyńskie zostały nabyte w 1762 r. przez hrabiego Franciszka Skórzewskiego, generała wojsk koronnych, zwolennika konfederacji barskiej. Kiedy syn hrabiego Fryderyk Skórzewski po raz pierwszy ujrzał zagubioną wśród nadnoteckich łąk wieś Piłatowo, urok miejsca o malowniczym krajobrazie zafascynował go, postanowił w tym miejscu wybudować w przyszłości siedzibę godną swego rodu. Stało się to w latach …