Erst mit der Nutzung der Kirche Sankt Marien durch die Herzöge von Sachsen-Weißenfels wurde ihr ein Innenausbau angedeihen lassen, der dem heutigem Charakter entspricht. Es wurden so in diesem Zuge auch die Kirchenbänke eingebaut, die Emporen mit Bildern versehen, der Altar ausgetauscht und neben der Kanzel auch der Taufstein in die Kirche gebracht.
Der Bildhauer Andreas Griebenstein schuf den Stein zwischen 1677 und 1681 und zeigt auf ihm den Sündenfall und die Vertreibung aus dem Paradies: Adam und Eva haben gesündigt und verstecken sich im Gebüsch. Auch findet sich als verweis auf die Psalmstelle "Wie der Hirsch schreit nach frischem Wasser" ein Hirsch auf dem Stein. Das Hochrelief wird durch einen betenden Psalmsänger abgeschlossen.
Am 12. April 1681 wird der Taufstein, nebst silberem Becken und Taufkanne im Beisein seiner Durchlaucht Herzog Johann Adolph I., seiner Gemahlin und den herzoglichen Kindern durch den Hofprediger Andreas Olearius geweiht. Die Kosten für den Stein, dessen Vorgänger eine hölzerne Säule war, betrugen 225 Taler. Das Silberne Taufbecken und die Kanne sind in der Handwerkskunst einmalig und heute nur sehr selten in Benutzung, da sie als Kulturschatz gehütet werden.