W 1571 roku budowlę strawił pożar. Jego szczątki zostały włączone do nowego dwupiętrowego budynku wzniesionego w latach 1588-1589 przez architektów Pawła Rimlyanina i Piotra Barbona. Pod koniec XVI w nazwano go „Domem Lorentsowiczów” od nazwiska właściciela – Jana Lorentsowicza. W 1596 roku ukończono budowę trzeciego piętra. W latach 1675-1677 budynek został odrestaurowany i ozdobiony dekoracjami. W 1884 roku dobudowano 4 piętro. W 1929 roku w budynku otwarto ekspozycję muzeum historycznego.