Nel sec. XVI, su una piana sotto il colle Šmarjetna gora, i nobili Schrott costruirono un maniero minore, un'abitazione vera e propria che dalla vicina cappella, dedicata a sv. Peter, prese il nome di Šempetrski grad. La data 1574 sul portale del castello ricorda i tempi quando i Siegesdorf divennero suoi proprietari. Nei secoli che seguirono al castello si sono avvicendati diversi proprietari e nel 1902, quando il castello fu acquistato da Oton nobile Detela, venne chiamato anche Detelova graščina, il maniero di Detela. Oggi il castello ospita abitazioni ed insieme alla vicina cappella del castello presenta un grave problema per la tutela dei monumenti.