Przed wybudowaniem pałacu, w Boromelu istniał dawny zamek, po którym nie ocalały do dziś żadne materialne ślady. Franciszek Czacki w nowo zbudowanym pałacu 1 grudnia 1781 r. wystawnie podejmował króla Polski Stanisława Augusta Poniatowskiego. Obiekt został zrujnowany podczas powstania listopadowego, w trakcie bitwy pod Boremlem z udziałem żołnierzy generała Józefa Dwernickiego i wojsk rosyjskich