[ML] 차원 축소 (1) - 정의, PCA, 예제코드

크게 유의미하지 않은 정보는 버리거나 뭉쳐라. 이번 블로그에선 차원 축소에 대해 다루고자 한다. 왜 차원을 축소해야 하고, 구체적으론 어떤 방법과 수학적 원리가 존재하는지 살펴보자. 1) 차원의 저주 여기 동물을 분류해야 하는 문제가 있다. 동물을 훈련 샘플이라 지칭하고, 동물들의 특성 500개가 주어졌다고 하겠다. 특성들을 바탕으로 토끼, 고양이, 거북이를 분류해야 한다. 특성이 많을수록 정확한 분류를 할 수 있을 것 같지만, 실상은 그렇지 않다. 기하급수적으로 늘어난 계산량으로 인해 모델 훈련이 느려지고, 좋은 솔루션을 찾기 힘들어진다. 또한 과대적합 문제가 발생할 수 있다. A, B 개체가 2개의 특성을 가졌을 때, 아래와 같이 그래프로 나타낼 수 있다. A와 B의 거리는 \[\sqrt{(5-2)^..

2024.02.26