Im 14. und 15. Jahrhundert diente das Schloss als Wohnresidenz der Grafen von Celje (Cilli), spater den Fursten von Celje. Es war verschanzt und von einem Wehrgraben umgeben. Nach dem Aussterben der von Celje war in dem Gebaude das Vitzumamt, in der Mitte des 18. Jahrhunderts aber wurde es in eine Kaserne umgestaltet. Das Gebaude, wie wir es heute kennen, wurde oft verandert, am tiefgreifendsten zu Maria Theresias Zeiten.