당신은 NEWYORK에서 택시 기사로 일하고 있다. 택시는 Yellow Taxi이다. 택시 기사로 생존하기 위해선 다음과 같은 노력이 필요하다. 1) 근무 시간 동안, 손님을 최대한 많이 태울 것 (손님) 2) 많은 요금 + 풍부한 팁 (요금) 3) 현금 결제는 소득에 포함시키지 않고 슬쩍하기 (세금 절약) 첫 번째 노력은 이전 포스팅에서 다뤘다. 이번 포스팅에선 많은 요금과 팁을 받는 방법, 현금 결제하는 손님을 받는 방법을 알아보겠다. [Data] 데이터는 SparkSQL 포스팅에서 전 처리한 Yellow Taxi 데이터(cleaned)를 사용하도록 하겠다. NEWYORK Yellow Taxi의 운행을 2021.01~2021.07까지 모두 모아놓은 데이터다. [Yellow Taxi Data: http..

평면 사이의 거리는 어떻게 구할 수 있을까? 겉으로 보기엔 어려워 보일 수 있지만, 이전 포스팅에서 설명한 점과 평면 사이의 거리 구하는 방법만 알면 손쉽게 구할 수 있다. [이전 포스팅 URL: https://mengu.tistory.com/15?category=930054] [선형대수학] 점과 평면 사이의 거리 점과 평면 사이의 거리는 어떻게 구할 수 있을까? 물론, 여기서 거리는 최소 거리를 말한다. 그림 그리고 공식 유도해보자. 1. 그림 그리기 벡터 Q, 벡터 P는 위치 벡터다. Q는 점을 가리키며, P는 mengu.tistory.com 한 평면 위에 있는 점의 좌표를 알아내고, 좌표를 점과 평면 사이의 거리 구하는 공식에 대입하면 된다. 하지만 문제 출제자가 문제를 그렇게 간단하게 낼 리도 없..

이번 포스팅에선 간단하게 Keras를 이용하여 CNN모델을 만들고 학습, 예측한다. CNN의 학습과정을 전체적으로 따라가 보자. CNN의 개념이 익숙지 않다면 이전 포스팅을 보고 오자. [이전 포스팅: https://mengu.tistory.com/23] [CNN basic] 합성곱 층, 풀링 층 CNN basic 합성곱 층, 풀링 층 CNN(Convolutional neural network)이란? 합성곱 신경망은 시각 피질 안의 뉴런 작동방식을 본 따 만들어진 네트워크이다. 위 그림은 실제 시각피질의 뉴런이 작동하는 방식이 mengu.tistory.com MNIST 데이터셋 MNIST 데이터셋은 손글씨 데이터 셋이다. 해당 포스팅에선, 이미지를 바탕으로 손글씨를 0~10까지 분류하는 모델을 만들 것이..

CNN basic 합성곱 층, 풀링 층 CNN(Convolutional neural network)이란? 합성곱 신경망은 시각 피질 안의 뉴런 작동방식을 본 따 만들어진 네트워크이다. 위 그림은 실제 시각피질의 뉴런이 작동하는 방식이다. 인간의 눈은 사물을 한 번에 받아들여 인식하는 것이 아니다. 사물이 쪼개져서 입력되고, 이것들이 뉴런 연결들을 거쳐 하나의 이미지로 인식된다. 국부 수용장이라는 부분(동그라미)들이 뉴런에 입력되고, 이 입력값들이 다시 깊게 연결되며 복잡한 패턴의 값들을 도출한다. 이와 같이, 합성곱 신경망에서도 이미지를 부분 부분으로 쪼개서 입력값으로 들어간다. 이 입력 값들은 뉴런의 연결 속에서 더 의미 있고, 깊은 특징들로 변하여 출력된다. * 본 포스팅은 Keras와 Tensorf..

이번 포스팅은 MLflow의 주요 기능 중 하나인 Tracking이다. MLflow 실험한 것들을 데이터로 남기는 기능이며, 어디에/ 어떤 것을/ 어떻게 Tracking 하는지 톺아보자. 만약, MLflow의 개념을 먼저 알고 싶다면 이곳에 들었다 오자. [이전 포스팅: https://mengu.tistory.com/16?category=927678 ] [MLOps] MLflow 시작 & 개념 정리 최근 MLOps란 단어가 많이 등장했다. MLOps : 프로덕션 환경에서 기계학습을 안정적으로 수행하기 위한 일련의 과정 MLOps = DevOps + Machine Learning 데이터 전처리, 분석, 모델링을 주로 공부해왔지만, 최 mengu.tistory.com MLflow Tracking is org..

최근 MLOps란 단어가 많이 등장했다. MLOps : 프로덕션 환경에서 기계학습을 안정적으로 수행하기 위한 일련의 과정 MLOps = DevOps + Machine Learning 데이터 전처리, 분석, 모델링을 주로 공부해왔지만, 최근 들어 이런 시스템의 필요성을 느꼈다. 매 분석 순간마다 전처리-EDA-FE-Modeling-검증 과정을 거치면 시간이 많이 든다. 모델을 저장하고, 다시 서빙하는 과정도 간편화될 필요가 있다. 그런 생각의 흐름에서 MLflow를 공부하게 되었으며, 공부한 것들을 블로그로 정리해보고자 한다. [참고자료] https://github.com/mlflow/mlflow/ GitHub - mlflow/mlflow: Open source platform for the machine..