01_ KNN 알고리즘

개념

k-Nearest Neighbor(kNN) 알고리즘은 가장 간단한 지도 학습 분류 알고리즘으로 새로운 데이터가 들어왔을 때 기존 데이터들 중 가장 가까운 k개의 이웃을 기준으로 클래스를 결정하는 방식임

거리(Distance)를 기반으로 분류가 이루어짐

k 선택 기준

• 제곱근 규칙
  • k는 데이터의 수의 제곱근의 크기로 주로 선택함
• 홀수 k 선택
  • 이진 분류에서는 동점 발생 방지를 위해서 보통 k를 홀수로 선택함

분류 예시

• 새로운 샘플을 별표로 표시한 뒤 가장 가까운 이웃들의 클래스를 확인하여 다수결로 분류함

• 예: 파란색 사각형·빨간색 원 두 그룹이 있는 그림에서 별표의 위치를 기준으로 가까운 그룹을 선택함

  

  • k=3일 때
    • 가장 가까운 3개의 이웃중에서 클래스2가 2개로 가장 많으므로 클래스 2로 분류
  • k=5일 때
    • 가장 가까운 5개의 이웃중에서 클래스1이 3개로 가장 많으므로 클래스 1로 분류

특징

장점

• 학습 등의 훈련(Training) 과정이나 준비과정이 사실상 없음
• 새로운 입력이 들어올 때 기존 데이터들과의 거리 계산만 수행함
• 구현이 매우 간단함

단점