Erstmals urkundlich erwähnt wurde das Schloss Nossen  im Jahre 1268. Ab dem Jahre 1544 wurde im Schloss Nossen das kurfürstliche Amt Nossen untergebracht. Von 1554 bis 1557 wurde mit altem Abbruchgestein aus dem nahen Kloster Altzella der Westflügel erbaut. Der Südflügel entstand erst in den Jahren 1628 bis 1630.
1716 hielt sich die Gräfin Cosel einen Monat in Nossen auf, bevor Sie nach Stolpen geschafft wurde. Im Siebenjährigen Krieg wurde das Schloss schwer beschädigt, wurde aber wieder aufgebaut. Napoleon verbrachte 1813 eine Nacht im Schloss. Später wurde das Schloss als Amtsitz und als Gefängnis genutzt.