Kraj Kokarje in cerkev se prvič omenjata leta 1340. Cerkev je od vsega začetka romarska. Prvi veliki shod je omenjen leta 1460, ko je opat Kašpar sredi zime pripeljal procesijo iz Gornjega Grada. Tisto zimo je namreč zaradi hudega mraza poginjala živina in umirali so ljudje, kmalu po shodu pa se je otoplilo. V spomin na to je še danes shod vsake postne kvatre v Kokarjah. Današnjo podobo je cerkev dobila v 19. stoletju. Na oltarju sv. Jožefa sta tudi kipa bratov sv. Cirila in Metoda, kar kaže na takratno narodno zavest vernikov tega okoliša. V cerkvi so freske Jakoba Brolla iz leta 1887.