2022.12.14 = 전역 복학 전에 의미 있는 활동을 하고 싶었다. '인턴을 해보자!'라는 생각에 지원해 버렸다. 지원 기간 2022.10.27(목) ~ 2022.11.14(월) 준비 기간 약 2일 (군대 때문에 시간이 없었다) 자기소개서 뚱땅뚱땅쓰고, AI역량검사는 2시간 전에 후다닥 실기시험은 '아~ 발표는 내가 좀 하지' 하면서 그냥 갔다. 인턴 채용 절차는 다음과 같았다. 서류심사를 통해 약 2.5 배수를 뽑았고, 실기시험(PT발표, 토론, 인적성 면접)에서 최종 합격자를 가렸다. 서류를 접수한 사람은 AI역량검사를 봐야 한다. AI역량검사는 어플을 깐 후, 정해진 시간에 들어와 대답하는 방식이다. 배치된 부서의 직원분이 알고 보니 면접관이셨는데, 비대면 면접은 무조건! 조용하고, 편안한 장소..

객체 지향 프로그래밍(OOP) object-oriented programming 이번 포스팅에선 객체 지향 프로그래밍에 대해 알아보겠습니다. 개념과 함께 예제를 살펴볼 것이며, 언어는 python으로 진행하겠습니다. 📌 정의 먼제 객체에 대한 정의부터 내리겠습니다. 객체란? 쉽게 말해 하나의 존재입니다. 물리적으로 존재하든, 추상적으로 생각할 수 있든 자신의 속성을 가지고 다른 존재와 식별이 가능하면 객체라고 할 수 있습니다. 프로그래밍으로 따지면 변수도 객체가 될 수 있고, 함수도 객체가 될 수 있습니다. 또는 변수와 함수를 묶은 것도 객체가 될 수 있습니다. 가능한 모든 것들이 하나의 존재로 묶이기만 한다면 객체가 될 수 있습니다. 파이썬으로 예를 들면, 다음 것들이 모두 객체입니다. # 1 obje..

이번 포스팅에선 C++의 조건문과 반복문에 대해 알아보도록 하겠다. 조건문 : 제시된 조건문이 참인지, 거짓인지에 따라 달라 상황 수행이 달라진다. 반복문 : 일정 조건에 따라 특정 문을 계속해서 반복한다. 개발 환경 : VSCode, Windows 10 기본 개발 세팅은 다음과 같습니다. #include #include using namespace std; int main() { // 연산자 int num1 = 10; int num2 = 4; cout 9){ cout

Spark MLlib은 Pipeline 컴포넌트를 지원한다. Pipeline은 머신러닝의 워크플로우를 말하기도 하며, 여러 Stage를 담고 있다. persist() 함수를 통해 저장도 가능하다. 그렇다면 실제 코드는 어떻게 짤까? 이전 포스팅에서 다뤘던 택시 데이터로, MLlib Pipeline을 구축해보자. 기본 세팅은 이전 Spark 포스팅들을 보면 이해할 수 있다. [데이터 https://mengu.tistory.com/50?category=932924] [SparkSQL] 택시 데이터 다운/전처리/분석 feat. TLC 이전 포스팅에서 공부한 SparkSQL 지식을 바탕으로, 실제 Taxi 데이터를 전처리해보자. * 전처리란? 이상치 제거, 그룹화 등 데이터 분석이 용이하도록 데이터를 변형하는 ..

MLlib Machine Learning Library 스파크의 컴포넌트 중 하나로, 머신러닝 파이프라인 개발을 쉽게 하기 위해 개발되었다. MLlib에는 다시 알고리즘(Classification 등) + 파이프라인(Training, Evaluation 등) + FE + Utils(Statistics 등)의 여러 컴포넌트가 있다. MLlib은 DataFrame 위에서 동작하며, MLlib API를 Spark ML이라고 부른다. 이번 포스팅에선 MLlib의 활용을 알고리즘, 파이프라인, FE, Utils에 걸쳐서 차근차근 살펴보도록 하겠다. MLlib 포스팅에서 사용할 데이터는 이전 포스팅에서 다뤘던 '택시 데이터'이다. https://mengu.tistory.com/50?category=932924 [S..

Spark Backend : Catalyst, Tungsten Spark는 쿼리를 돌리기 위해 위의 두 가지 엔진을 사용한다. Catalyst는 쿼리문을 최적화 시키는데 이용하고, Tungsten은 RDD level에서 용량을 최적화시킨다. Process를 보면 다음과 같다. Spark의 조직도는 다음과 같다. 조직도를 보면 알 수 있다시피 Catalyst는 SQL, DataFrame이 Structured Data를 다룰 수 있게 하는 필수 모듈이다. 그렇다면 Catalyst가 구체적으로 어떤 기능을 하는지 살펴보자. "본 포스팅은 패스트캠퍼스의 강의를 듣고, 정리한 자료임을 밝힙니다." Catalyst의 기능 Logical Plan -> Physical Plan Logical Plan이란? 수행하는 모..