Evaluating Performance

Classifier Evaluation Metrics (분류기 평가 지표)

Confusion Matrix (혼동 행렬) 구조
- 2진 분류(Binary Classification)에서 실제 정답(Actual)과 모델의 예측(Predicted) 결과를 교차하여 4가지 지표로 분류함
- True Positive (TP): 실제 긍정(Positive)인 데이터를 긍정으로 올바르게 예측함
- False Negative (FN): 실제 긍정인 데이터를 부정(Negative)으로 잘못 예측함 (Type II Error)
- False Positive (FP): 실제 부정인 데이터를 긍정으로 잘못 예측함 (Type I Error)
- True Negative (TN): 실제 부정인 데이터를 부정으로 올바르게 예측함
세부 평가 지표 (Performance Metrics) 공식 및 의미
- Accuracy (정확도): (TP + TN) / (TP + TN + FP + FN)
  - 모델이 긍정과 부정 클래스 모두에 대해 전체적으로 얼마나 정확하게 예측했는지를 요약함
- Sensitivity / Recall / True Positive Rate (재현율/민감도): TP / (TP + FN)
  - 실제 긍정인 데이터 중에서 모델이 긍정으로 올바르게 찾아낸 비율
- Specificity / True Negative Rate (특이도): TN / (TN + FP)
  - 실제 부정인 데이터 중에서 모델이 부정으로 올바르게 걸러낸 비율
- Precision (정밀도): TP / (TP + FP)
  - 모델이 긍정이라고 예측한 데이터 중에서 실제로 긍정인 비율
- Negative Predictive Value (음성 예측 가치): TN / (TN + FN)
  - 모델이 부정이라고 예측한 데이터 중에서 실제로 부정인 비율
Accuracy 지표의 한계점과 Precision / Recall의 필요성
- 극단적으로 불균형한 데이터셋(예: 파이(Pie)와 관련 없는 트윗이 99.99%인 경우)에서, 분류기가 단순히 모든 문서를 무조건 "파이와 관련 없음(부정)"으로 예측하도록 설계된다면 **Accuracy는 99.99%**로 매우 높게 나타남
- 하지만 정작 찾아야 할 타겟인 "파이 관련 트윗"은 단 하나도 찾지 못하므로 Recall은 0이 되는 치명적인 모순이 발생함
- 따라서 특정 목적을 띤 분류 모델에서는 대상(True Positives)을 얼마나 잘 찾아내는지를 명확히 평가하기 위해 Accuracy 대신 Precision과 Recall을 핵심 지표로 사용함
F-Score / F-Measure
- Precision과 Recall을 하나의 단일 점수로 요약하여 모델의 정확도를 평가하는 지표로, NLP, Information Retrieval, ML 분야에서 범용적으로 사용됨
- 두 지표 간의 조화평균(Harmonic mean)을 계산하여 도출됨

ROC Curve & Precision-Recall Curve

Receiver Operating Characteristic (ROC) Curve

여러 확률 임계값(Probability thresholds) 변화에 따른 모델의 전반적인 분류 성능을 시각적으로 요약한 그래프
X축은 False Positive Rate (FPR), Y축은 **True Positive Rate (TPR, Sensitivity)**를 나타냄
FPR은 1 - Specificity와 동일하며 수식은 FP / (FP + TN)으로 계산됨
임계값을 낮게 설정(예: Threshold 0.2)하면 긍정으로 판단하는 기준이 완화되어 FN은 줄어들지만 FP가 늘어나는 반면, 임계값을 높게 설정(예: Threshold 0.8)하면 FP는 줄지만 FN이 늘어나는 트레이드오프를 보여줌
ROC Area Under the Curve (AUC)
- ROC 곡선 아래의 전체 면적을 의미하며, 최대치인 1.0에 가까울수록(그래프가 좌측 상단 모서리에 붙을수록) 완벽한 분류 성능을 지닌 모델임을 나타냄