의사결정 트리(decision tree), 정보 이득 (information gain), 엔트로피 (entropy)

▣ 의사결정 트리(decision tree), 정보 이득 (information gain), 엔트로피 (entropy)

 

2017년 71번

엔트로피(entropy)는 정보의 불확실함의 정도를 나타내는 양(정보에 대한 기대 값)을 의미함

정보 이득(information gain)은 데이터를 분할하기 전과 후의 변화를 의미함

즉, 정보의 불확실성이 얼마나 해소되었는지를 측정하는 것임

상위노드 P 의 엔트로피 E(P) = 0.7
하위노드 C1 의 엔트로피 E(C1) = 0.5
하위노드 C2 의 엔트로피 E(C2) 0.6
정보 이득 (information = 0.7 - ( 12/20 * 0.5 + 8/20*0.6 )
= 0.7 - ( 0.3 + 0.24 )
= 0.16