Die Adeligen Shrott errichteten im 16. Jahrhundert auf einer Ebene unter der Šmarjetna gora einen kleineres Wohnschloss. Nach der nahen Schlosskapelle des Hl. Peter erhielt das Schloss den Namen Šempeter. Die Jahreszahl 1574 am Schlossportal erinnert an die Zeit, als das Schloss in den Besitz der Siegesdorf überging. In den folgenden Jahrhunderten wechselten die Besitzer, 1902 erwarb Oton Detela das Schloss. Heute sind im Schloss mehrere Wohnungen untergebracht. Der heutige Zustand von Schloss und Schlosskapelle ist ein akutes Problem für den Denkmalschutz