Schon vor der Stadtgründung wird auf dem weißen Felsen einer Burg bekundet. Im Laufe der Zeit wurde diese nicht durch einen Ritter oder Edelmann allein bewohnt, sondern diente den Menschen der Stadt vor allem in Zeiten der Belagerung oder des Krieges als Trutzburg.
1546 wird die Burg umfassend modernisiert. Im Dreißigjährigem Krieg wird sie zwischen den verfeindeten Lagern immer wieder hin und her gereicht, Letztendlich wird die Burg durch die Schweden geschliffen und in der Silvesternacht 1644/45 ein Versuch gemacht, den Bergfried, der als letztes von der Burg noch verblieben war, zu sprengen, dies misslang. Im Bergfried befand sich das Mittelalterliche Archiv der Stadt, dass in der Nacht zum 6. Januar 1645 erfolgreich gesprengt wurde.
Danach wurde der Grund bereinigt und 1660 an dieser Stelle der Grundstein für das Residenzschloss Neu-Augustusburg gelegt. Von der Alten Burg sind nur noch zwei Türme erhalten geblieben und ein Teil der Umfassungsmauer mit ihren Schießscharten und zwei kleinen Pechrinnen,