Ajdovska jama se nahaja na zahodnem robu razloženega naselja Silovec pri Sromljah. Kot arheološko najdišče je bila prepoznana leta 1959, ko sta lastnika zemljišča v njej našla poznobronastodobne predmete. Kot so pokazale arheološke raziskave, so se v jami skrivali tudi sledovi iz časa rimske dobe. Pred drugo svetovno vojno in po njej so jamo uporabljali kot odlagališče poljedelskega in vinogradniškega orodja in pripomočkov, v času druge svetovne vojne pa se je v njej skrivala skupina partizanov Kozjanskega odreda.