Die Geschichte des Jägerhofs reicht ins 16. Jahrhundert zurück. Bis 1541 befand sich ein Kloster von Augustiner-Eremiten an der Stelle des heutigen Gebäudes. Bevor es nach seiner Aufgabe durch die Mönche vollständig verfiel, nutzte es wenig später Kurfürst August von Sachsen für seine Jägerei.

Das heutige Erscheinungsbild erhielt der Jägerhof zu Beginn des 17. Jahrhunderts. Zu jener Zeit wurde ein neues Obergeschoss erschlossen, in dem sich ein Jägersaal mit Gemälden und Skulpturen für repräsentative Zwecke befand. Zudem entstand der südliche Giebel in seiner charakteristischen Form der Dresdner Spätrenaissance.

Bereits im späten 18. Jahrhundert verlor der Jägerhof an Bedeutung für die höfische Jagd und wurde 1831 als Kavalleriekaserne, später als Werkstatt und Lager sowie Armenhaus genutzt. Umfangreiche Sanierungsmaßnahmen ließ Oskar Seyffert, Gründer des Museums für Sächsische Volkskunst, in den Jahren 1911 bis 1913 durchführen. 1913 zog das Museum in die Räumlichkeiten des Jägerhofs.

Durch den Luftangriff am 13. Februar 1945 auf Dresden brannten die oberen Stockwerke des Museums vollständig aus. Das Erdgeschoss mit seinem schlichten Kreuzgratgewölbe konnte erhalten werden. Bereits im Dezember 1945 fand hier bereits die erste traditionsreiche Weihnachtsausstellung in notdürftig gesicherten Räumen statt.