Bereits im 17. Jahrhundert stand am nördlichen Stadtgraben ein Gärtnerhaus. Nach der Gründung des Botanischen Gartens im März 1794 diente es als Sitz des Inspektors und Gartendirektors.

Johann Wolfgang von Goethe nutzte das Haus ab 1817 regelmäßig und genoss die „Clausur auf dem Blumen- und Pflanzenberge“. Von 1825 bis 1827 entstand ‒ unter der Leitung des Architekten C. W. Coudray ‒ der nun nach Osten ausgerichtete heutige Dreiflügelbau.