Il paese di Vipolže è noto per due castelli, uno più recente nella parte superiore, u quello più antico nella parte orientale del paese eretto nel XI secolo. Quest'ultimo era una volta la residenza di caccia dei conti di Gorizia. I proprietari successivi del castello furono i Herberstein, i Della Torre, gli Attems e gli ultimi i Teuffenbach. Nel XVI e nel XVII secolo il castello subi le guerre tra gli Imperiali e Veneziani, da quest'ultimi occupato. L'edificio danneggiato fu restaurato agli inizi del XVII secolo in castello rinascimentale di stile veneziano usato come residenza estiva.
Il castello, a base rettangolare e con due torri, vantava una volta un parco meraviglioso con una fontana in stile barocco. Durante la Grande Guerra serviva da ospedale militare. Nel corso della guerra una bomba e più tardi nel 1948, un incendio danneggiarono gravemente il fabbricato.
Il castello purtroppo non è restaurato, rappresenta però per quanto riguarda l'architettura uno delle ville più belle in Slovenia, del periodo tra il rinascimento ed il barocco. Una vera attrattiva costituisce il parco con i cipressi più volte secolari, le querce imponenti e la balera, diventata ormai simbolo del vecchio Castello di Vipolže.