인공지능 평가 모델

I. 인공지능 모델 성능 평가, 혼동행렬

가. 혼동행렬의 개념

• 잘못된 예측의 영향을 파악하기 위해 예측 값과 실제 값 일치 여부를 행렬로 분류하는 모델 평가 기법

나. 혼동행렬 기반 모델 성능 평가 항목

• 평가 항목을 수치로 정량화 하여 성능을 객관적 지표로 평가 및 기계 학습 효율성 극대화

II. 수신자 조작 특성, ROC Curve

가. ROC(Receiver Operating Characteristics) 커브의 개념

개념도	설명
	– FP Rate(1-특이도) 대비 민감도 변화율 통한 모델평가 기법 – 완벽 분류기(Perfect Classifier)는 민감도1, 특이도0 직선이며, 이에 가까울수록 좋은 성능

나. AUC와의 비교를 위한 ROC cut off 값 평가 유형

유형	설명
Euclidean Method	– 이상치로부터 ROC 커브 각 점까지 최소값
Youden Index	– ROC 커브 각 점 기울기 1인 직선 y 최대값
Efficiency	– 유병률(Prevalence)를 고려한 계산

• AUC(Area Under Curve)는 ROC 커브 면적(f(x)dx 적분값)으로 측정되며 1에 가까워야 학습 모델의 성능 좋음

 
[참고]