Prvotni grad sodi med najstarejše na Slovenskem. Kot last Raških gospodov ga prvič omenjajo leta 1248. Kmečki uporniki so ga leta 1515 izropali in požgali. Obnovljen je bil v 17. stoletju z Verneškimi gospodi. Je enonadstropno četverokotno poslopje z dvoriščnimi arkadami in je dokaj dobro ohranjen.
Raški grad, ki je bil matična hiša raških gospodov, je bil omenjen že v 12. stoletju. Imel je več lastnikov. V obnovljeni stavbi iz 16. st. je bil samostan za onemogle usmiljene sestre.