Parameter Tuning 머신러닝을 다뤄본 사람이라면 익숙한 개념일 것이다. 머신러닝을 알고리즘을 이용하더라도, 그 안의 변수를 어떻게 조정하냐에 따라서 모델의 성능이 달라진다. MLlib은 당연히도 Paramter Tuning 기능을 제공한다. 코드를 살펴보며 어떻게 튜닝을 하는지 살펴보자. [만약 Spark에 대해 아무것도 모른다면?] https://mengu.tistory.com/26?category=932924 [Spark] Apache Spark 개념 및 버전 Apache Spark에 대해 알아보자. Apache Spark란 빅데이터 처리를 위한 오픈소스 엔진(고속 분산처리)이다. 이미 아마존, 우버, 넷플릭스 등 다양한 기업에서 쓰이고 있다. Apache Spark 등장 배경 데이터가 m..

이번 포스팅에선 간단하게 Keras를 이용하여 CNN모델을 만들고 학습, 예측한다. CNN의 학습과정을 전체적으로 따라가 보자. CNN의 개념이 익숙지 않다면 이전 포스팅을 보고 오자. [이전 포스팅: https://mengu.tistory.com/23] [CNN basic] 합성곱 층, 풀링 층 CNN basic 합성곱 층, 풀링 층 CNN(Convolutional neural network)이란? 합성곱 신경망은 시각 피질 안의 뉴런 작동방식을 본 따 만들어진 네트워크이다. 위 그림은 실제 시각피질의 뉴런이 작동하는 방식이 mengu.tistory.com MNIST 데이터셋 MNIST 데이터셋은 손글씨 데이터 셋이다. 해당 포스팅에선, 이미지를 바탕으로 손글씨를 0~10까지 분류하는 모델을 만들 것이..