[ML] 차원 축소 (1) - 정의, PCA, 예제코드

 

크게 유의미하지 않은 정보는 버리거나 뭉쳐라.

 

 

 

이번 블로그에선 차원 축소에 대해 다루고자 한다.

왜 차원을 축소해야 하고, 구체적으론 어떤 방법과 수학적 원리가 존재하는지 살펴보자.

 

 

 

1) 차원의 저주

 

여기 동물을 분류해야 하는 문제가 있다.

동물을 훈련 샘플이라 지칭하고, 동물들의 특성 500개가 주어졌다고 하겠다. 특성들을 바탕으로 토끼, 고양이, 거북이를 분류해야 한다.

 

 

 

특성이 많을수록 정확한 분류를 할 수 있을 것 같지만, 실상은 그렇지 않다.

기하급수적으로 늘어난 계산량으로 인해 모델 훈련이 느려지고, 좋은 솔루션을 찾기 힘들어진다.

 

 

또한 과대적합 문제가 발생할 수 있다. A, B 개체가 2개의 특성을 가졌을 때, 아래와 같이 그래프로 나타낼 수 있다.

 

A와 B의 거리는 \[\sqrt{(5-2)^2+(2-5)^2}=3\sqrt{2}\]

 

 

이제 A, B 특성을 1개 더 늘려보자.

 

 

이렇게 되면 A, B 사이의 거리는 \[\sqrt{3^{2}+3^{2}+(4-2)^2}=\sqrt{22}\]

특성을 하나 늘렸을 뿐인데, A와 B의 거리가 많이 벌려졌다.

만약 특성이 300개-400개이고, 그 차원 안에서 A와 B의 거리를 비교한다면 어떻게 될까?

 

엄청난 거리 차이가 날 것이다.

서로 엄청난 거리 차이가 난 상태에서 모델 학습을 한다면 과대 적합이 발생한다.

 

 

이렇듯 너무 많은 특성으로 인해 발생하는 문제를 차원의 저주라고 말한다.

 

 

 

2) 차원 축소

 

이 때문에 모델 훈련을 진행하기 전, 특성 수를 크게 줄이는 작업을 한다.

이 작업을 차원 축소라 말한다.

 

예를 들면, 위의 훈련 샘플 특성들을 4개의 특성으로 압축해 버리는 것이다.

 

 

 

다만, 차원 축소를 진행하면 샘플의 일부 정보가 유실된다. 훈련 속도는 빨라지지만, 성능이 저하될 수 있는 것이다. 또한 차원 축소라는 과정을 추가함으로써 후에 데이터 전처리, 모델 훈련, 개선 등 일련의 파이프라인을 더 복잡하게 할 수 있다.
따라서 원본 데이터로 먼저 훈련을 해보며, 성능과 속도에 대한 판단을 끝내고 차원 축소를 시도하는 것이 좋다.

 

 

2-1) 차원을 축소시키는 두 가지 접근법

 

2-1-1) 투영

훈련 샘플은 일부 차원에서 유의미한 차이를 보이기는 경우가 많다.

고차원 공간(예시: 3차원) 안의 저 차원 부분 공간(예시: 2차원)에 놓여 있거나, 그에 가깝다.

 

출처: 핸즈온 머신러닝 2판

 

훈련 샘플이 놓여 있는 평면을 선택하고, 그 평면에 샘플들을 수직으로 투영한 것이다.

Z1과 Z2는 X1과 X2와 서로 다른 특성으로, 새롭게 생겨난 것이다. 

하지만 훈련 샘플의 부분 공간이 뒤틀리거나 휠 경우, 투영 접근법은 데이터 손실을 불러올 수 있다.

 

 

2-1-2) 매니폴드 학습

데이터가 아래처럼 놓여있다고 하자. 이를 스위스롤(2D 매니폴드의 한 예)이라 한다. d차원 매니폴드는 d차원 초평면으로 보일 수 있는 n차원 공간의 일부이다 (d<n).

 

출처: 핸즈온 머신러닝 2판

 

만약 위의 데이터를 투영시킨다면, 왼쪽처럼 2차원 표시가 될 것이다. 일부 유의미한 특성들이 뭉개지면서 심각한 데이터 손실을 불러올 수 있다. 그렇기에 모든 데이터가 매니폴드에 가깝게 놓여있다는 가정하에, 매니폴드 학습을 하여 오른쪽과 같이 나타낼 수 있도록 한다.

많은 축소 알고리즘들이 매니폴드를 모델링하는 식으로 작동한다!

 

 

 

3) PCA 정의

 

주성분 분석 principal component analysis (PCA)

가장 인기 있는 축소 알고리즘으로, 데이터 특성들을 주성분으로 압축하여 나타낸다.

 

PCA 실행 순서

1) 데이터에 가장 가까운 초명편 정의

2) 데이터를 평면에 투영

3) 그다음으로 분산을 가장 많이 보전하고 있는 축(2번째 주성분) 찾기
4) n번 반복하여, n개의 주성분 발견하기

 

 

1) 분산 보존

데이터에 가장 가까운 초평면은 다음과 같은 원리로 선택한다.

2D 데이터셋이 아래와 같이 놓여있다. 이 데이터를 실선, 파선, 점선으로 설명한다고 했을 때, 실선이 가장 잘 설명하고 있다고 볼 수 있다. 데이터의 분산을 최대로 보존하고 있기 때문이다.

 

분산을 최대로 보전한다는 것의 의미는 실선과 데이터셋 사이의 평균 제곱 거리가 최소화된다는 의미이다.

자세한 수학적 원리는 후에 다룰 것이다. 지금은 거리제곱 합이 최소가 되도록 하는 축을 우선으로 선택한다는 것만 알아두면 된다!

 

 

2) 주성분 추출

첫 번째 축을 택했다면, 그다음은 두 번째로 분산을 잘 보전하고 있는 축을 선택할 때이다.

이렇게 계속해서 축을 선택해 나가는데, i번째 축을 이 데이터의 i번째 주성분(PC)라고 부른다.

 

위의 예시에선 C1이 1번째 주성분, C2가 두 번째 주성분, C3가 세 번째 주성분이 된다.

 

훈련 세트의 주성분은 특잇값 분해 singular value decomposition (SVD)라는 표준 행렬 분해 기술로 찾는다. 훈련 세트 행렬 X를 세 개의 행렬의 행렬 곱셈으로 분해된다.

\[ U\sum V^T\]

 

여기서 찾고자 하는 모든 주성분의 단위 벡터가 V에 다음과 같이 담겨있다.

 

X_centered = X - X.mean(axis=0)
U, s, Vt = np.linalg.svd(X_centered)
c1 = Vt.T[:, 0]
c2 = Vt.T[:, 1]


# 주성분을 d차원까지만 얻고 싶을 경우, d 개의 주성분으로 정의된 평면에 투영
Wd = Vt.T[:, :d]
X2D = X_centered.dot(Wd)

 

PCA는 데이터셋의 평균이 0이라고 가정한다. 따라서 항상 PCA 작업을 해주기 전에, 전체 데이터셋 평균을 0으로 맞추는 작업이 필요하다.
X_centered = X - X.mean(axis=0) 코드 참고.

 

 

 

 

 

4) PCA 예제 코드

 

MINST 데이터셋(숫자 손글씨 이미지)과 sklearn을 이용하여 PCA를 실습해 보자.

 

4-1) MNIST 데이터셋 불러오기

from sklearn.datasets import fetch_openml
mnist = fetch_openml('mnist_784', version=1)
mnist.keys()


>> 
dict_keys(['data', 'target', 'frame', 'categories', 'feature_names', 'target_names', 'DESCR', 'details', 'url'])

 

 

 

4-2) X, Y 배열 살펴보기

X, y = mnist["data"], mnist["target"]
print(X.shape)
print(y.shape)


>>
(70000, 784)
(70000,)

 

 

 

4-3) PCA 라이브러리 불러오고, 주성분으로 변환

from sklearn.decomposition import PCA
import numpy as np

pca = PCA()
pca.fit(X)
cumsum = np.cumsum(pca.explained_variance_ratio_)
d = np.argmax(cumsum >= 0.95) + 1

 

위 코드는 PCA 모델을 사용하여 데이터셋의 차원을 2로 줄이는 코드이다.

학습시키면 pca.components_ 속성에 W(주성분 행렬)의 전치(T)가 담기게 된다.

cumsum은 분산의 합을 나타낸다. 차원이 증가할수록 얼마나 분산이 설명되고 있는지 진행률을 나타내는 것이라 보면 편하다.

 

 

4-4) 분산 설명 95%에서 주성분 분석 종료

pca_a = PCA(n_components = d)
X_reduced = pca_a.fit_transform(X)
cumsum_reduced = np.cumsum(pca_a.explained_variance_ratio_)

 

변수 d는 95% 지점의 차원을 뜻한다. n_components에 d를 입력하면, PCA는 d차원까지만 주성분 분석을 하고 종료한다.

 

 

4-5) 그래프로 확인하기

import matplotlib.pyplot as plt
%matplotlib inline

plt.plot(cumsum)
plt.plot(cumsum_reduced)

 

 

cumsum은 n_components에 제한이 없기에, 분산 100%를 설명할 때까지 주성분 분석을 진행했다.

그에 반해, cumsum_reduced는 n_components 95% 제한이 존재했다. 약 150차원에서 조기 종료한 것을 볼 수 있다.

 

 

 

 

지금까지 차원 저주 및 축소, PCA 정의와 예제 코드를 살펴보았다.

차원 축소 2탄에선 PCA 수학 원리, 압축/랜덤/점진적 PCA에 대해 다루도록 하겠다.