Dominantno lego ima v naselju Polhov Gradec stožčasta vzpetina imenovana Stari grad - Kalvarija (460m), ob katero se skupaj s cerkvijo naslanja venec hiš starejšega dela naselja. Ob njenem vznožju tečeta po eni strani Božna (Velika voda), po drugi strani pa Mala voda, ki se pod naseljem združita v Gradaščico.

Zgodovinarji menijo, da je kraju dalo ime Gradec staroslovensko gradišče, ki naj bi stalo na Starem gradu ali Kalvariji. Tudi izvor gradu naj bi segal že v obdobje karantanske notranje samostojnosti. Grad z okroglimi stolpiči in vmesnim visokim obzidjem, kot ga kaže skica, najdena v starem rokopisu, je poškodoval močan potres 1511 in kmetje v kmečkem uporu 1514. Potem so zgradili novo grajsko stavbo v dolini ob Božni. Na Starem gradu so kasneje zgradili osmerokotno grajsko senčnico - gloriteto, ki jo je grofica Antonija Blagaj 1853. leta spremenila v kapelo in do nje dala zgraditi štirinajst kapelic s slikami križevega pota.

Vir spletna stran http://www.td-polhovgradec.si