Le château, situé au bord du versant en surplomb de la ville et de la confluence de Selška et Poljanska Sora, domine la vue sur la ville. Au-dessus de l'actuel château, on peut apercevoir les ruines de l'ancienne fortification. L'Ancienne tour date du 13ème siècle. Il ne reste que les fondations que l'on trouve au milieu de la cour. Au 14ème siècle déjà, on pouvait trouver autour de la tour centrale des tours de défense et des ailes d'habitation. La résidence des évêques de Freising et les appartements de leurs gardiens ont dû être rénovés en profondeur après le tremblement de terre de 1511. La tour centrale fut dotée d'une nouvelle couronne en console et d'un nouveau toit. Le château a été transformé en musée local. Le château est entretenu et le musée régulièrement ouvert.