Polhov Gradec liegt am Schnittpunkt dreier Täler im Schutz des Mittelgebirges von Polhov Gradec am Fuße des Kalvarienbergs, der von den Einheimischen "Kalvarija – Stari grad" genannt wird, und dem mächtigen Berg Polhograjska Gora im Hintergrund. Der Ort samt Umgebung war schon sehr früh besiedelt. Die römische Siedlung und der Militärstützpunkt Ad nonum, das Landhaus des römischen Edelmannes ebenso wie ein versteckter Schatz sind durch Funde belegt, die im Slowenischen Nationalmuseum in Ljubljana und in der örtlichen Museumssammlung in Polhov Gradec aufbewahrt werden. Die schönsten Exponate sind eine keltische Fibula aus dem 4. bis 3. Jh. vor Chr. und ein Bronzekrug Askos aus dem 1. Jh. nach Chr.

Die Hauptsehenswürdigkeit ist Schloss Polhov Gradec, in dem Stadtmuseum und Trausaal beheimatet sind. In der Nähe befindet sich das Imkerhaus, in dem der Imker Božnar Honig und Honigprodukte anbietet.

Im alten Ortskern sind einige interessante alte Bürgerhäuser erhalten geblieben. Das Oštetar-Haus aus dem 16. Jh. war im Eigentum des Burgverwalters, im Sever-Haus sind alte Räume und eine Rauchküche erhalten, sowohl das Faci-Haus wie das  Cigara-Haus beherbergen Zeugen der Vergangenheit.

Am Weg von Dobrova und Polhov Gradec, im Dorf Dvor, steht die mächtige gotische Kirche Hl. Peter, die die Burgherren von Polhov Gradec 1525 in Auftrag gaben.

Essen und Trinken bieten das Gasthaus "Pri Pratkarju", "Pograjski dom" und die beiden Urlaubsbauernhöfe "Pri Mehačku" und "Pri Bitencu".