Il castello di Prem si erge sopra il villaggio e la strada che gira intorno al colle, e domina l'altura panoramica sopra la valle del fiume Reka (Timavo), la strada nella valle nonché il traffico sul fiume Reka. Il castello è precedente al 1213. Partendo dal cavalier Udo si succedettero molti proprietari ed affittuari, tra cui i Walsee, gli Haller, gli Asburgo e i principi Porcia. L'edificio compatto a tre piani, con la pianta a forma di L, ha il nucleo romanico con un'ala annessa, e un piccolo cortile, protetto da un muro. Il cortile interno in mezzo al quale si trova un piccolo pozzo, è ornato da portici rinascimentali. L'intero complesso è protetto dal muro rinascimentale esterno e da torri cilindriche. Nel cortile maggiore tra il castello e le mura periferiche si trova una grande cisterna d'acqua.

Il locale a pianterreno del castello ha una volta a crociera; al piano di sopra si trova la cappella, risalente alla fine del sec. XIV, con modeste maschere su beccatelli che ricordano botteghe parleriane. La sala dei cavalieri al primo piano, ornata da un ballatoio di legno, fu risistemata poco prima dell'ultima guerra, dai proprietari, famiglia Zuccolin di Trieste. Gli insoliti affreschi furono eseguiti su uno sfondo nero.

Al castello ci sono alcune modeste collezioni locali. In buono stato le torri cilindriche esterne restaurate. Le chiavi si trovano presso la vicina casa.