Schloss Polhov Gradec ist das bekannteste Gebäude der Stadt. Vom Dorfkern etwas entrückt, liegt es eingebettet zwischen dem Kalvarienberg und dem Polhograjska-Berg. Dank seiner Lage ist das Schloss ein idealer Ausgangspunkt für Wanderungen auf die umliegenden Gipfel.

Das Schloss beherbergt das Stadtmuseum, in dem Exponate aus der Geschichte von Polhov Gradec und Umgebung zu besichtigen sind, die viel über das frühere Leben in dieser Gegend erzählen. Außerdem sind ein Trausaal, ein Internet-Point und Ausstellungsräume untergebracht, in denen kulturelle, kulinarische und andere Veranstaltungen stattfinden.

Der Schlosspark ist einer der seltenen achsenförmig gestalteten Parks, die in ihrer ursprünglichen Form erhalten geblieben sind. Den Hof zwischen Schlosspark und Schloss schmückt eine Fontäne. Statuen nackter Nymphen an den Eckpfeilern umgeben die zentrale Statue, den Neptun, nach dem die Fontäne auch benannt ist.

 
Nur 300 m vom Schloss entfernt steht ein Steingebäude mit einer Wassereinfassung, das schicksalhafte Begegnungen aus verschiedenen Epochen belegt, zumal im Innenraum verblasste Unterschriften Napoleons Soldaten zu sehen sind, die hier Schutz und Erholung gefunden haben.

Im 19. Jh. war das Schloss im Besitz von Richard Ursini Blagay, nach dem die Blume Blagay-Seidelbast benannt ist, die auf den Hängen des Polhograjska-Berges wächst.

Am Fuße des Polhograjska-Berges steht ein in Form eines Obelisk gestaltetes Denkmal, das Graf Blagay zum Andenken an den Besuch des Sachsenkönigs Frederik Augustus II. erbauen ließ, der 1838 die neu entdeckte Blume Blagay-Seidelbast bestaunen kam.