K Nearest Neighbors (KNN)

개요

• 가장 단순한 지도학습(Supervised Learning) 방법 중 하나. (이미 구분되어있음)
• 학습 시 모델이 생성되지 않으며, 학습 데이터 전부가 모델 역할을 함. → 게으른 학습 (Lazy Learning)
  • 해당 학습은 학습 파라미터가 없음
  • K는 학습 파라미터가 아닌 사용자가 정하는 파라미터 (Hytper Parameter)

작동 방식

• 어떤 거리 척도에 기반해 입력 데이터가 주어지면, 학습 데이터 중에서 가장 가까운 K개의 이웃(학습 샘플)을 찾아, K개 이웃의 레이블(정보)을 기반으로 예측

  

분류 문제 (Classification)

• K개의 이웃 중 가장 많이 등장한 클래스를 선택 → 다수결 투표

회귀 문제 (Regression)

• K개의 이웃의 정답값 평균을 예측값으로 사용

데이터 정규화의 필요성

문제 상황

• Feature 간 스케일이 다르면 거리 계산이 왜곡될 수 있음.

• 예: X1 = 침실 수, X2 = 넓이 → 넓이가 거리 계산에 압도적으로 큰 영향을 미침 (가중치가 다름)

  침실 수	넓이(m²)	가격
  1	24.2	8000
  2	59.8	12000
  2	64.2	12500
  3	104.6	20000
  3	79.5	18000

  → **정규화(정규화/표준화)**를 통해 Feature 스케일을 맞춰줘야 함

정규화/표준화 기법

Min-Max 정규화