Naselje Kozje se  omenja  že leta 1016 kot dvor s 30 kmetijami. Nastalo je ob cesti Kunšperk - Pilštanj kot sejemsko naselje. Kdaj je dobilo trške pravice, ni znano. Kraj ni bil nikdar utrjen, zaradi česar je trpel ob turških vpadih, močneje ga je prizadela tudi epidemija kuge. Kozje je ponovno zaživelo proti sredini 19. stoletja. Postalo je sedež sodnega in davčnega okraja, dekanije. Razživela sta se obrt in gostinstvo, leta 1828 je dobilo tri letne sejme. Po vojni je bilo Kozje nekaj časa sedež občine in okraja, leta 1958 se je vključilo v šmarsko občino. V naselju se je razvila industrija, nekatere centralne dejavnosti, šolstvo, zdravstvo. Najstarejši trški del sestavljajo osrednji tržni prostor, obrobljen s trškimi parcelami, na katerih so se v nekoliko svobodnejši obliki formirali trški domovi. V starem trškem jedru je veliko arhitekturne dediščine, tako stanovanjskih, kot gospodarskih objektov ter cerkev sv. Eme in župnijska Marijina cerkev.