Das 1553 vom kursächsischen Hofrat und Oberhauptmann von Thüringen Christoph von Werther (1512-1566) neu aufgebaute Amtshaus wurde vom Kurfürsten August als privates Freihaus privilegiert und damit von allen Abgaben, Steuern und Einquartierungen befreit. Schon 1592 begannen umfangreiche Veränderungen am Haus. Häufig wechselnde Eigner und Funktionen des Hauses gaben ihm verschiedene Namen, man findet für das Haus am Markt Nummer 5 bis 1655 auch die Bezeichnung kurfürstlicher Geleitshof, danach auch herzogliches Amtshaus, Fälknerscher, Amts- oder Gradgericht (1644) Zastrov'sches Haus (1654), Schmidt'sche Haus (1660) Bauer's Haus (1703) Mangold'sches Haus (1717) oder auch Persdorff'er Haus (1729/46). 1673 entzog Herzog August dem Haus seine Sonderprivilegien und legte diese auf das Haus nebenan (Sächsischer Hof)
Das Haus ist mit einem Sitznischenportal mir sächsischem Wappen geziert, die oberen Etagen spiegeln noch seinen besonderen Status wieder, denn da findet man nicht so viele Dachetagen, die ja nicht besteuert wurden. Der Zierrat des Hauses ist neben dem Portal nur durch kleine Gesimse an den oberen beiden Fenstergeschossen zu entnehmen. Gauben und ein relativ kurz gehaltenes einfacheres Satteldach schließen das Haus ab und lassen es neben den anderen Häusern eher bescheiden wirken.
Der wohl prominenteste Bewohner des Amtshauses war zwischen 1947 und 1958 Martin Gregor-Dellin (1922-1988).