Il castello da il benvenuto ai visitatori sin dal loro ingresso in città. Fu probabilmente edificato già prima del 1202; in un documento risalente a quest'anno infatti viene citato come molto robusto (castrum firmissimum). I vescovi di Freising lo fecero costruire come residenza del governatore e dell'amministratore. Fu inoltre dimora del vescovo durante i suoi soggiorni. In seguito al terremoto del 1511 che lo distrusse quasi completamente il castello fu restaurato dal vescovo Filippo. Nel cortile del castello si ergeva un tempo l'imponente torre di forma quadrata le cui fondamenta, ancora conservate, sono state restaurate. Oggi il castello ospita un museo, mentre nella cappella castellana si sussegguono avvenimenti lungo tutto l'arco dell'anno. E inoltre possibile anche celebrare matrimoni.