W 1595 miasto zmieniło nazwę na Brody, w 1629 miasto stało się własnością Stanisława Koniecpolskiego, hetmana wielkiego koronnego. W latach 1630-1635 z jego polecenia wzniesiono tu cytadelę i fortyfikacje . W 1633 roku król Władysław IV wydał zgodę już ex post na budowę twierdzy. W 1648 roku podczas Powstania Chmielnickiego forteca odparła szturm zbuntowanych Kozaków. W kolejnych latach wojska tureckie w roku 1672 i tatarskie w 1675 nie podejmowały nawet prób jej zdobycia. Wnuk Koniecpolskiego zapisał twierdzę Jakubowi Sobieskiemu, a ten w 1704 sprzedał ją Potockim. Forteca zdewastowana przez wojska rosyjskie i saskie straciła swoje znaczenie obronne i w połowie XVIII wieku została przez Stanisława Potockiego przebudowana na późnobarokową rezydencję