Zamek wzniesiony w latach 1540–1564[1] przez ks. Mikołaja Radziwiłła, zwanego Czarnym, marszałka i kanclerza wielkiego litewskiego oraz kasztelana wileńskiego. Około 1640 r. kolejny ordynat ołycki ks. Albrycht Stanisław Radziwiłł, rozbudował zamek w stylu renesansowym, otoczył murami na rzucie prostokąta, z czterema charakterystycznymi bastionami w narożnikach.