Knjižnica ima zelo zanimivo preteklost saj ima že iz let 1640 ohranjeno baročno knjižnico, ki je nastala v prostorih Kapucinskega samostana. Iz tega obdobja so shranjene v kapucinski knjižnici mnoge knjige, ki predstavljajo veliko kulturno bogastvo Slovencev.
Prvo samostojno knjižnico pa smo dobili leta 1964, in sicer Valvasorjevo knjižnico in čitalnico, ki danes leži na kar 1094 kvadratnih metrov prostora, vendar se zopet nahaja v prostorski stiski.