Sowohl das Land als auch das Gebäude, das heute noch in Teilen des Hauses wiederzufinden ist, gehörte seit 1301 zum Gelände des Klarissenklosters Weißenfels. Es war ein Wirtschaftsgebäude, das im Laufe seines Bestehens öfter sein Bild wechselte. Der früheste Bau muss wohl zu großen Teilen aus Holz gewesen sein und war mit Stroh oder Reet gedeckt. Später folgte dann ein steinerener Bau, der erstmals 1450 urkundlich erwähnt wird. Das Haus war der Viehhof des Klosters und neben den Tieren wohnte hier auch Gesinde. Die kleinen Kammern in den oberen Geschossen waren dafür gut geeignet. Im Erdgeschoss befand sich ein größerer Raum, der wohl von allen gleichermaßen als Küche und Gesinderaum genutzt wurde.
Als 1539 das Kloster im Zuge der Reformation geschlossen wurde, fiel der Besitz in kurfürstliche Hand. Und ab 1606 begann eine wechselvolle Geschichte des Hauses, denn neben dem Rats- und Landrentmeister, Amtsvoigt und dem fürstlichen geheimen Kämmerer wurde das Haus weiter gereicht. Meist nur wenige Jahre blieb das Haus beim gleichen Herrn, die Eigner waren wie folgt:
- 1606 Kursächsischer Rats- und Landesrentmeister Johann Meißner (1561-1620)
- 1651 Kursächsischer Amtsvoigt Johann Balthasar Fälckner (1613-1654)
- 1666 Fürstlicher Rentmeister Johann Philipp Weichardt
- 1671 Fürstlich Geheimer Kämmerer Johann Möschel
- 1680 Hof-, Justiz- und Appellationsrat David Elias Heidenreich (1638-1688)
- 1688 Witwe und Erben Heidenreichs
1705 wird im Auftrag Johann Georgs (Herzog zu Sachsen-Weißenfels) das Gebäude umfassend zum Jagd- und Forsthof, mit Sitz des Oberjägermeisters umgestaltet. Am 26. Februar des Jahres 1705 wird der Umbau durch eine feierliche Einweihung, unter anderem mit einer Bärenhatz im hinteren Teil des Gartens abgeschlossen. Am 23. Februar 1713 wird hier der 31. Geburtstag des Herzogs Christian mit einem großen Kampfjagen gefeiert. Im Rahmen dieses Festes spielt Johann Sebastian Bach, der auch selbst anwesend war, deine Jagdkantate "Was mir behagt ist nur die muntere Jagd". Am 27. Feburar enden die Festivitäten mit einem Lustjagen. In Anwesenheit der Herzogin Luise Christiana (von Stollberg) wurden ein "Hauend-Schwein (ein Schwein mit einem Gewicht von 3 Zentner und 75 Pfund), 2 Keyler und 2 Bachen gefangen, geschossen und gehätzt." Am Abend des selben Tages wurde im Jägerhaus an einer langen Tafel gespeist. Weiterhin wurde 1730 am 02. März ein Kampfjagen zu seiner Durchlaucht Herzog Christian Geburtstag durchgeführt. Hier wurde ein Hirsch, ein Bär, ein Ochse und zwei Wildschweine erlegt.
Unter der Regentschaft Herzog Johann Adolph II. (1736-1746) hat der kurfürstlich-sächsische Oberforst- und Wildmeister seinen Amtssitz hier, nach seinem Ableben folgt der Oberforstmeister Reitzenstein, darauf derer von Gersdorff. Als 1813 hier die Französischen Truppen durchziehen, nächtigt vom 29. auf den 30. April Marschall Ney hier im Haus.
Mit dem Ansinnen der Stadt, diesen Jägerhof in ein Schulmeisterhauptquartier umzuwandeln, wird 1831 begonnen das Haus auch für eben diese Zwecke zu nutzen und es beginnt eine Teilnutzung als königlich-preußisches Lehrerseminar. 1837-42 wohnt hier der Direktor des Seminars, Dr. Wilhelm Harnisch. Es folgte die Einrichtung einer Präparantenanstalt, eine Anstalt in der die Seminaristen auf das Studium vorbereitet wurden. Auch Ernst Henschel und Morzit Hill, sowie weitere spätere Direktoren des Seminars nahmen hier bis 1908 ihre Amtswohnung ein. Nach den großen Kriegen wurde das Haus vermietet und nach der Deutsch-Deutschen-Wiedervereinigung befindet sich im Jägerhof eine Gastronomie und Hotel.