크게 유의미하지 않은 정보는 버리거나 뭉쳐라. 이번 블로그에선 차원 축소에 대해 다루고자 한다. 왜 차원을 축소해야 하고, 구체적으론 어떤 방법과 수학적 원리가 존재하는지 살펴보자. 1) 차원의 저주 여기 동물을 분류해야 하는 문제가 있다. 동물을 훈련 샘플이라 지칭하고, 동물들의 특성 500개가 주어졌다고 하겠다. 특성들을 바탕으로 토끼, 고양이, 거북이를 분류해야 한다. 특성이 많을수록 정확한 분류를 할 수 있을 것 같지만, 실상은 그렇지 않다. 기하급수적으로 늘어난 계산량으로 인해 모델 훈련이 느려지고, 좋은 솔루션을 찾기 힘들어진다. 또한 과대적합 문제가 발생할 수 있다. A, B 개체가 2개의 특성을 가졌을 때, 아래와 같이 그래프로 나타낼 수 있다. A와 B의 거리는 \[\sqrt{(5-2)^..

Alternating Least Squares 추천 알고리즘 중 하나로, 교대 최소 제곱법이라고도 불린다. 이번 포스팅에선 간단한 추천 알고리즘 개념들을 살펴보고, ALS의 장점을 알아보자. 추천 알고리즘 : 사용자가 선호할만한 아이템을 추측함으로써 사용자에게 적합한 특정 항목을 추천한다. 추천 알고리즘에는 두개의 기본 축이 존재한다. 협업 필터링과 콘텐츠 필터링이다. (1) 협업 필터링(CF, Collaborative Filtering) 유저-아이템 상호작용 데이터를 활용한다. "이 음식을 좋게 평가한 사람들은 또 어떤 음식을 좋아할까?" 즉, 특정 유저와 성향이 비슷한 사람들이 좋게 평가한 것을 추천하는 알고리즘이라고 보면 된다. (2) 콘텐츠 필터링(CB, Contents-Based-Filterin..

이번 포스팅에선 간단하게 Keras를 이용하여 CNN모델을 만들고 학습, 예측한다. CNN의 학습과정을 전체적으로 따라가 보자. CNN의 개념이 익숙지 않다면 이전 포스팅을 보고 오자. [이전 포스팅: https://mengu.tistory.com/23] [CNN basic] 합성곱 층, 풀링 층 CNN basic 합성곱 층, 풀링 층 CNN(Convolutional neural network)이란? 합성곱 신경망은 시각 피질 안의 뉴런 작동방식을 본 따 만들어진 네트워크이다. 위 그림은 실제 시각피질의 뉴런이 작동하는 방식이 mengu.tistory.com MNIST 데이터셋 MNIST 데이터셋은 손글씨 데이터 셋이다. 해당 포스팅에선, 이미지를 바탕으로 손글씨를 0~10까지 분류하는 모델을 만들 것이..

CNN basic 합성곱 층, 풀링 층 CNN(Convolutional neural network)이란? 합성곱 신경망은 시각 피질 안의 뉴런 작동방식을 본 따 만들어진 네트워크이다. 위 그림은 실제 시각피질의 뉴런이 작동하는 방식이다. 인간의 눈은 사물을 한 번에 받아들여 인식하는 것이 아니다. 사물이 쪼개져서 입력되고, 이것들이 뉴런 연결들을 거쳐 하나의 이미지로 인식된다. 국부 수용장이라는 부분(동그라미)들이 뉴런에 입력되고, 이 입력값들이 다시 깊게 연결되며 복잡한 패턴의 값들을 도출한다. 이와 같이, 합성곱 신경망에서도 이미지를 부분 부분으로 쪼개서 입력값으로 들어간다. 이 입력 값들은 뉴런의 연결 속에서 더 의미 있고, 깊은 특징들로 변하여 출력된다. * 본 포스팅은 Keras와 Tensorf..