Prvi prebivalci so se tu naselili že v rimskem obdobju in poznejšem srednjem veku, ko je tu imel svojo grajsko postojanko naslednik langobardskih vladarjev Johannes Astolfa. Grad je bil porušen, po graščaku Ivanu (Johannes) pa se je obdržalo ime vasi. Med znamenitosti štejemo cerkev sv. Križa, ki leži na vzpetini izven središča Ivanjega Gradu, ostanke prazgodovinskega gradišča (z enojnim okopom obsega 370m) in kaverne, strelske jarke ter ostanke vojaške železnice iz 1. svetovne vojne po okoliških gmajnah.