[CNN basic] 합성곱 층, 풀링 층

 

 

 

 

CNN basic

합성곱 층, 풀링 층

 

 

 

 

CNN(Convolutional neural network)이란?

합성곱 신경망은 시각 피질 안의 뉴런 작동방식을 본 따 만들어진 네트워크이다.

 

 

이미지 출처: 핸즈온 머신러닝 2판

 

 

위 그림은 실제 시각피질의 뉴런이 작동하는 방식이다. 인간의 눈은 사물을 한 번에 받아들여 인식하는 것이 아니다. 사물이 쪼개져서 입력되고, 이것들이 뉴런 연결들을 거쳐 하나의 이미지로 인식된다. 국부 수용장이라는 부분(동그라미)들이 뉴런에 입력되고, 이 입력값들이 다시 깊게 연결되며 복잡한 패턴의 값들을 도출한다.

 

이와 같이, 합성곱 신경망에서도 이미지를 부분 부분으로 쪼개서 입력값으로 들어간다. 이 입력 값들은 뉴런의 연결 속에서 더 의미 있고, 깊은 특징들로 변하여 출력된다. 

* 본 포스팅은 Keras와 Tensorflow로 진행됩니다. Colab 환경에서 진행할 것을 추천드립니다.

 

 

 

[CNN의 기본 구조]

 

Image 입력 -> 합성곱 층 -> 풀링 층 -> flatten -> 완전 신경망 -> 출력 층

 

 

 

 

 

 

 

합성곱 층(convolutional layer)

---

CNN에서 가장 중요한 구성 요소.

 

앞서 언급했듯이, 첫 번째 합성곱 층의 뉴런은 이미지 전체 픽셀과 연결되는 것이 아니다. 한 개의 뉴런이 수용하는 범위에 있는 픽셀만 연결되어 입력값으로 들어간다.

 

 

이미지 출처: 핸즈 온 머신러닝 2판

 

예를 들어, 3x3 범위를 하나의 뉴런이 인식한다고 하자. 빨간색 사각형의 픽셀값을 첫 뉴런이 인식해서 가져가고, 그다음 뉴런은 파란색 사각형의 픽셀값들을 인식해서 입력값으로 가져간다. 

 

여기서 잠깐. 빨간색 사각형과 파란색 사각형의 간격은 모델링을 하는 사람이 정할 수 있다. 이 간격을 스트라이드(stride)라고 한다. 이 간격을 크게 한다면 하나의 합성곱 층을 지난 값은 본래 값보다 크기가 작아질 것이다.

위 그림의 스트라이드는 간격이 1이므로, 스트라이드도 1이다. 

 

하지만 합성곱 층을 지난 값이 본래 크기와 같게 하고 싶다면 패딩(padding)을 이용할 수 있다.

 

padding의 주요 선택지

SAME - 합성곱 층에 제로 패딩을 적용한다. 즉, 합성곱 층을 지나도 크기를 맞추기 위해(SAME), 본래의 값에 0 값들을 주위에 붙여서 입력값을 재구성하는 작업을 말한다.

VAILD - 패딩 없음. 즉, 합성곱 층에 제로 패딩을 사용하지 않고, 그대로 가져가는 것을 말한다.

 

 

이미지 출처: https://stackoverflow.com/questions/52067833/how-to-plot-an-animated-matrix-in-matplotlib

 

 

그런 의미에서 위 그림은 stride=1, padding='same' 옵션을 적용하여 합성곱 층을 통과시켰다.

 

 

 

 

 

 

 

필터(filter)

---

특성들을 뽑아내기 위해 합성곱 층에 끼워 넣는 합성곱 커널.

 

 

두 개의 필터가 있다. 하나는 가운데 흰 수직선이 있는 검은 사각형(가운데 열은 1로 채워져 있고, 그 외에는 모두 0인 7x7 행렬)이고, 하나는 가운데 흰 수평선이 있는 검은 사각형이다. 입력값이 이 사각형을 지나면 어떻게 될까? 첫 번째 사각형을 지나면 흰 수직선에 있던 입력값을 제외한 나머지 값은 모두 없어진다. 두 번째 사각형을 지나면 흰 수평선에 있던 입력값을 제외한 나머지 값은 모두 없어진다. 

* 입력값이 하나의 필터를 통과한 후에, 또 다른 필터를 통과하는 것이 아니다. 하나의 필터를 통과한 체로 하나의 특성 맵이 된다. 즉, 필터 개수만큼 출력값의 층도 늘어난다는 뜻.

 

 

왜 이렇게 값을 없앨까?

남겨진 값(특성)에 집중하기 위해서다. 

이런 다양한 필터들이 40개, 100개가 된다면 우린 입력값을 매우 다양한 각도로 확인할 수 있다. 

 

 

출처: 핸즈온 머신러닝 2판

 

 

Tensorflow 구현

 

from sklearn.datasets import load_sample_image
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt


# 이미지를 로드합니다.
china = load_sample_image("china.jpg") / 255

# 필터 적용 전
plt.imshow(china)
plt.show()

flower = load_sample_image("flower.jpg") / 255
images = np.array([china, flower])
batch_size, height, width, channels = images.shape

# 필터 2개 만들기
filters = np.zeros(shape=(7,7,channels,2), dtype=np.float32)
filters[:,3,:,0] = 1        # 수직선
filters[3,:,:,1] = 1        # 수평선

outputs = tf.nn.conv2d(images, filters, strides=1, padding='SAME')

# 첫 번째 이미지의 두 번째 특성 맵(수평선)을 그립니다.
plt.imshow(outputs[0,:,:,1], cmap='gray')
plt.show()

 

 

 

[Code Summary]

- 각 컬러 채널의 픽셀 강도는 0~255 사이의 값을 가진 바이트 하나로 표현된다. 이에 이 특성을 255로 나누어 0~1 사이의 실수로 변환

- 7x7 필터 만들기

- tf.nn.conv2d() : images는 4D tensor. filters는 적용된 필터. strides=1. padding='same' 지정.

 

 

 

위는 필터를 지난 그림의 결과물이다. 색이 변한 것은 gray로 설정했기 때문이지만, 그림이 흐릿해진 것은 수평선 필터를 적용했기 때문이다. 흐릿해진 그림은 하나의 특성 맵이다. 합성곱 층을 지날 땐 수많은 필터를 거치고 그만큼 수많은 특성 맵이 나온다.

 

 

 

실제 CNN에서는 훈련 가능한 변수로서 필터를 정의한다. 

합성곱 층을 정의해줄 때, 필터를 정의한다. 그러면 신경망이 잘 맞는 필터를 알아서 학습할 수 있다.

 

conv = keras.layers.Conv2D(filters=32, kernel_size=3, strides=1, padding='same', activation='relu')

 

[Code Summary]

3x3 크기의 32개의 필터를 적용. 1 스트라이드 단위로 움직이며, 제로 패딩을 이용하여 합성곱 층을 만들었다. 출력을 위해 ReLU 함수 이용했다.

 

 

 

 

 

풀링 층(pooling layer)

---

풀링 층의 목적은 계산량과 메모리 사용량, 파라미터 수를 줄이기 위해, 이미지의 축소본(부표본)을 만드는 것이다.

합성곱 층에서와 마찬가지로 각각의 뉴런은 일정 영역 사각형 안의 픽셀만을 인식한다. 이전과 동일하게 크기, 스트라이드, 패딩 유형을 지정하지만 가중치는 존재하지 않는다. 사각형 안의 픽셀들로 최댓값을 뽑거나, 평균을 내거나 할 뿐이다. 

 

 

이미지 출처: 밑바닥 딥러닝

 

 

 

풀링(pooling) 종류에는 크게 최대 풀링 층, 전역 평균 풀링 층이 있다. 

 

최대 풀링 층 - 일정 수준의 불변성. 분류 작업처럼 예측이 작은 부분에서 영향을 받지 않는 경우 유용하다. 하지만 시맨틱 분할과 같이 등변성이 목표가 되는 작업에선 오히려 효용이 떨어진다.

 

max_pool = keras.layers.MaxPool2D(pool_size=2)

 

 

전역 평균 풀링 층 - 각 샘플의 특성 맵마다 하나의 숫자를 출력. 매우 파괴적인 연산이지만 출력층에는 유용할 수 있다.

 

global_avg_pool = keras.layers.GlobalAvgPool2D()

 

 

 

 

 

CNN 구조

---

마지막, CNN 구성요소를 배웠으니 어떻게 쌓아야 하는지 배울 차례다.

전형적인 CNN 구조는 합성곱 층을 몇 개 쌓고(각각 ReLU 층을 뒤에 놓는다), 그다음에 풀링층, 또 합성곱 층을 쌓고, 다시 풀링 층을 쌓는 식이다. 합성곱 층을 통과할수록 이미지는 작아지지만 더 깊은 특성에 접근이 가능하다. 그런 다음 층을 모두 쫙 피고 flatten(), 완전 신경망을 연결하여 출력층까지 보내면 예측이 이뤄진다. 

 

출처: 위키미디어

 

 

분류 문제를 해결하기 위한 간단한 CNN Code

* 패션 MNIST 데이터셋 문제를 해결하기 위한 모델

model = keras.models.Sequential([
    keras.layers.Conv2D(64, 7, activation='relu', padding='same', input_shape=[28,28,1]),
    keras.layers.MaxPooling2D(2),
    keras.layers.Conv2D(128, 3, activation='relu', padding='same'),
    keras.layers.Conv2D(128, 3, activation='relu', padding='same'),
    keras.layers.MaxPooling2D(2),
    keras.layers.Conv2D(256, 3, activation='relu', padding='same'),
    keras.layers.Conv2D(256, 3, activation='relu', padding='same'),
    keras.layers.MaxPooling2D(2),
    keras.layers.flatten(),
    keras.layers.Dense(128, activation='relu'),
    keras.layers.Dropout(0.5),
    keras.layers.Dense(64, activation='relu'),
    keras.layers.Dropout(0.5),
    keras.layers.Dense(10, activation='softmax')
])

 

[Code Summary]

- 이미지가 28x28 픽셀 크기이고, 하나의 컬러 채널을 가지고 있으므로 input_shape=[28,28,1]로 지정

- 풀링 크기가 2인 최대 풀링 층을 추가하여 공간 방향 차원을 절반으로 줄이기

- 합성곱 층 - 풀링 층 반복

- 풀링 층 다음엔 합성곱 층의 필터 개수를 두 배로 늘리는 것이 일반적이다.

- 과대 적합을 줄이기 위해 50%의 드롭아웃 비율을 가진 드롭아웃 층을 추가

 

 

 

바로 다음 포스팅에선 위의 CNN구조를 바탕으로 모델링한 후, MNIST 데이터셋으로 학습, 예측까지 해보도록 하겠습니다.