W Porycku nad jeziorem stały dwa piętrowe, empirowe pałace Czackich zbudowane w 1806 roku przez Tadeusza Czackiego, jeden przeznaczony na bibliotekę i zbiory kolekcjonerskie, w którym przez kilka lat przechowywał pamiątki narodowe m.in. relikwię kości króla Bolesława Chrobrego, czy różnego rodzaju rzeczy pozyskane podczas przeprowadzania badań grobów Zygmunta Starego, Zygmunta Augusta i Anny Jagiellonki. Główny pałac zdobiła facjata oparta na czterech kolumnach doryckich. W 1916 roku został pałac obrabowany, zniszczono bibliotekę i zbiory porcelany. Natomiast drugi pałac, ów w którym mieszkał Tadeusz Czacki, spalony w 1915 roku przez wojska austriackie, znajduje się obecnie w stanie ruiny. Wraz z nim spaliło się też archiwum Czackich. Pozostała po Tadeuszu Czackim biblioteka z 15 tysięcy tomów wkrótce po jego śmierci w 1813 roku została wywieziona do Puław.