Grad Škrljevo (Grailach) je zgrajen na vzpetini zahodno od vaškega naselja Škrljevo ob severovzhodnem robu šentruperske ravnine. Stoji na eni najlepših točk šentruperske kotline in ves severozahodni predel Mirnske doline je zaznamovan s tem objektom do take mere, da vzpostavlja ravnovesje z ostalimi estetsko pomembnimi objekti od Vesele Gore, Okroga, Vihra, Velikega Cirnika do Mokronoga. Prve omembe Škrljevega segajo daleč nazaj, vas Škrljevo je omenjena že leta 1044 kot Chrilouva, kot posestvo pa leta 1130. Grad je bil fevd krške škofije do sredine 17. st. Kot stolpast dvor so ga dali pozidati verjetno že krški škofje. Posest je bila podeljena grofu Viljemu II. Breže-Selškemu, po njegovi smrti pa je njegova žena Ema to posest podarila krški škofiji. Dvor se posredno omenja leta 1163, ko se v zgodovinskih listinah omenja prvega škrljevskega viteza Majnharda (Megnardus de Crilog). Rodbina vitezov Škrljevskih je upravljala grad in gospoščino do začetka 16. st., vendar v imenu gospodov Auspergov, katerim je krški škof po letu 1460 podelil Škrljevo v fevd. Prvotni stolpasti grad (dvor) je Osterman Turjaški (Auersperg) verjetno še pred letom 1500 prezidal v pravi grad in verjetno od takrat izvira njegova današnja podoba čokate osrednje stolpaste dvonadstropne stavbe s strmo piramidasto streho in prizidanim dvonadstropnim vhodnim stolpičem, dvema polkrožnima obrambnima stolpoma in drugimi stavbnimi sestavinami, ki so na severni strani nekoč oklepale majhno dvorišče. Za Auerspergi je imel gospoščino pred letom 1585 Janez Baltazar pl. Wernekgh, konec 18. st. pa je bil last Jakoba Schullerja, v letu 1834 pa ga je kupil Karel Vasič, oskrbnik na Turjaku. Njegovi dediči so ga leta 1885 prodali Mariji Podobnik in v lasti te rodbine je bilo Škrljevo od konca druge svetovne vojen. Po vojni so bila v njem stanovanja, danes  pa je grad precej zanemarjen in počasi propada.
 
Grad ima po svoji legi in po svoji stavbni konstrukciji še vse izvirne elemente podedovane grajske arhitekture med rekama Savo in Krko. V svojem jedru je še vedno romanski, kasneje v gotiki delno prezidan in baroku dopolnjen s fasadnim učinkom, ki ga ima še danes.