W miejscu gdzie stał pałac pierwotnie znajdowała się twierdza broniąca przed atakami Tatarów, Turków, Kozaków i Polaków. Pałac w został ufundowany przez księżną Marię Szczerbatową według projektu czeskiego architekta. Księżniczka dużo podróżowała, szczególnie w młodym wieku. Poza tym, jak mówią, gdzieś w Anglii zauważyła pałac, którego kopię chciała wybudować w Niemirowie.