X

인공지능 평가 모델

I. 인공지능 모델 성능 평가, 혼동행렬

가. 혼동행렬의 개념

  • 잘못된 예측의 영향을 파악하기 위해 예측 값과 실제 값 일치 여부를 행렬로 분류하는 모델 평가 기법

나. 혼동행렬 기반 모델 성능 평가 항목

  • 평가 항목을 수치로 정량화 하여 성능을 객관적 지표로 평가 및 기계 학습 효율성 극대화

II. 수신자 조작 특성, ROC Curve

가. ROC(Receiver Operating Characteristics) 커브의 개념

개념도 설명
– FP Rate(1-특이도) 대비 민감도 변화율 통한 모델평가 기법
– 완벽 분류기(Perfect Classifier)는 민감도1, 특이도0 직선이며, 이에 가까울수록 좋은 성능

나. AUC와의 비교를 위한 ROC cut off 값 평가 유형

유형 설명
Euclidean Method – 이상치로부터 ROC 커브 각 점까지 최소값
Youden Index – ROC 커브 각 점 기울기 1인 직선 y 최대값
Efficiency – 유병률(Prevalence)를 고려한 계산
  • AUC(Area Under Curve)는 ROC 커브 면적(f(x)dx 적분값)으로 측정되며 1에 가까워야 학습 모델의 성능 좋음

 
[참고]

Categories: 알고리즘/AI
도리:

View Comments (1)