Apache Spark에 대해 알아보자. Apache Spark란 빅데이터 처리를 위한 오픈소스 엔진(고속 분산처리)이다. 이미 아마존, 우버, 넷플릭스 등 다양한 기업에서 쓰이고 있다. Apache Spark 등장 배경 데이터가 쏟아지면서 3가지 문제를 맞이한다. 1. 데이터의 크기가 기하급수적으로 증가한다. 2. 데이터가 생성되는 속도가 어마어마하게 증가했다. 3. 데이터의 종류도 증가했다. 물론 데이터를 통해 인사이트를 얻고자 하는 사람 입장에선 좋을 수도 있다. 하지만 분석 전에 데이터를 처리하고 저장해야 하는 입장에선 문제가 아닐 수 없다. 데이터 크기가 증가하면 저장 비용이 증가하고, 생성되는 속도가 증가하면 저장하는 속도가 따라잡지 못해 알맞게 처리할 시간을 확보하지 못한다. 종류가 증가하면..

이번 포스팅은 Spark 초기 환경 세팅이다. Spark, pyspark, java 등 그냥 설치해서 끝내면 되는 거 아니냐 할 수 있지만, 중간에 버전 호환 문제가 존재해서 막힐 수 있다. 그 부분을 집어주고자 포스팅을 한다. * 해당 포스팅은 windows 10 환경에서 진행한다. Anaconda 설치 먼저 https://www.anaconda.com/ 링크에 접속한다. Downloads를 눌러서 설치 파일을 받아준다. 그 다음, exe 파일을 눌러서 다음 설치를 쭉 진행한다. Anaconda prompt를 열어서 python 위치를 확인한다. 설치 경로: C:\Users\W21841\anaconda3\python.exe * 개인 컴퓨터마다 경로는 다를 수 있다. Java 설치 Oracle Java ..

이번 포스팅에선 간단하게 Keras를 이용하여 CNN모델을 만들고 학습, 예측한다. CNN의 학습과정을 전체적으로 따라가 보자. CNN의 개념이 익숙지 않다면 이전 포스팅을 보고 오자. [이전 포스팅: https://mengu.tistory.com/23] [CNN basic] 합성곱 층, 풀링 층 CNN basic 합성곱 층, 풀링 층 CNN(Convolutional neural network)이란? 합성곱 신경망은 시각 피질 안의 뉴런 작동방식을 본 따 만들어진 네트워크이다. 위 그림은 실제 시각피질의 뉴런이 작동하는 방식이 mengu.tistory.com MNIST 데이터셋 MNIST 데이터셋은 손글씨 데이터 셋이다. 해당 포스팅에선, 이미지를 바탕으로 손글씨를 0~10까지 분류하는 모델을 만들 것이..

CNN basic 합성곱 층, 풀링 층 CNN(Convolutional neural network)이란? 합성곱 신경망은 시각 피질 안의 뉴런 작동방식을 본 따 만들어진 네트워크이다. 위 그림은 실제 시각피질의 뉴런이 작동하는 방식이다. 인간의 눈은 사물을 한 번에 받아들여 인식하는 것이 아니다. 사물이 쪼개져서 입력되고, 이것들이 뉴런 연결들을 거쳐 하나의 이미지로 인식된다. 국부 수용장이라는 부분(동그라미)들이 뉴런에 입력되고, 이 입력값들이 다시 깊게 연결되며 복잡한 패턴의 값들을 도출한다. 이와 같이, 합성곱 신경망에서도 이미지를 부분 부분으로 쪼개서 입력값으로 들어간다. 이 입력 값들은 뉴런의 연결 속에서 더 의미 있고, 깊은 특징들로 변하여 출력된다. * 본 포스팅은 Keras와 Tensorf..

이번 포스팅은 MLflow의 주요 기능 중 하나인 Tracking이다. MLflow 실험한 것들을 데이터로 남기는 기능이며, 어디에/ 어떤 것을/ 어떻게 Tracking 하는지 톺아보자. 만약, MLflow의 개념을 먼저 알고 싶다면 이곳에 들었다 오자. [이전 포스팅: https://mengu.tistory.com/16?category=927678 ] [MLOps] MLflow 시작 & 개념 정리 최근 MLOps란 단어가 많이 등장했다. MLOps : 프로덕션 환경에서 기계학습을 안정적으로 수행하기 위한 일련의 과정 MLOps = DevOps + Machine Learning 데이터 전처리, 분석, 모델링을 주로 공부해왔지만, 최 mengu.tistory.com MLflow Tracking is org..

#15652번 - N과 M (4) 통과 Code import sys n, m = map(int, sys.stdin.readline().split()) a = [] def solution(): if len(a) == m : return print(' '.join(map(str, a))) for i in range(1, n+1): if len(a) > 0: if i < a[-1]: continue a.append(i) solution() a.pop() solution() 시간 복잡도 : O(n^m) 공간 복잡도 : O(1)