K-Means 요약 및 Assignment 방식

• Hard assignment
  • 각 데이터 포인트를 100%의 확률로 단 하나의 군집에만 할당함
  • 군집 간의 중첩(Overlap)을 허용하지 않으며, 데이터 간 단순 거리 기반의 판단이 때로는 부정확할 수 있음
• Soft assignment
  • 데이터 포인트가 특정 군집에 속할 확률 분포(Probability distribution)를 구하여 할당하는 유연한 방식임
  • 특정 데이터가 군집 1에 속할 확률 70%, 군집 2에 속할 확률 30%와 같이 가중치를 분할하여 표현함

Gaussian Mixture Model (GMM)

• Mixture Model의 개념: 다수의 확률 밀도 함수(Probability density functions)를 선형적으로 결합(Linear superposition)하여 복잡한 데이터의 분포를 표현하는 통계 모델임

  

• Gaussian mixture: 전체 분포를 K개의 가우시안 분포(Gaussians)의 가중합으로 모델링함

• Mixture coefficients (pi)

  • k번째 가우시안 분포가 선택될 사전 확률(Prior probabilities)을 의미함
  • 모든 pi_k의 합은 1이 되며, 각각의 값은 0과 1 사이의 범위를 가짐

• Generative Process (데이터 생성 관점)

  • Per-sample perspective: 매 샘플을 생성할 때마다 사전 확률 pi에 기반하여 랜덤하게 K개의 가우시안 분포 중 하나를 선택한 후, 해당 가우시안 분포의 평균과 분산에 따라 데이터를 추출함
  • Gaussian component perspective: 확률 pi에 비례하여 각 가우시안 분포에서 추출할 데이터의 총 개수를 미리 할당해두고, 각 분포별로 할당된 개수만큼의 데이터를 한 번에 추출함

GMM 모델 학습과 Latent Variables의 도입

Fitting the GMM (모델 학습)

• 레이블이 없는(Unlabeled) 데이터가 주어졌을 때, 혼합 계수(pi)와 각 가우시안 컴포넌트의 파라미터인 평균 및 공분산(mu, Sigma)을 찾아내는 역방향 추론 과정임
• 데이터가 정확히 어느 가우시안 컴포넌트에서 생성되었는지 알고 있다면 **Maximum Likelihood Estimation (MLE)**를 통해 각 군집별 파라미터를 쉽게 추정할 수 있으나, 실제로는 군집 정보가 없어 직접적인 적용이 불가함
• 단순히 Unlabeled Data의 로그 우도(Log-likelihood)를 계산하면 자연로그(ln) 수식 내부에 K개 분포에 대한 덧셈(Sum)이 위치하게 되어 수학적인 최적화 해를 구하기가 매우 어려워짐