NH투자증권 빅데이터 경진대회에 참여한 지 어느덧 1달.본선 진출 후, 곧바로 움직이기 시작했다.  [본선 진출편]https://mengu.tistory.com/127 NH투자증권 빅데이터 경진대회 후기 - 본선 진출편2022.09.08, 2022년 NH투자증권 빅데이터 경진대회가 개최되었다. 데이터도, 상금도, 참가팀 수도 거대한 Big 이벤트였다. https://aifactory.space/competition/detail/2126 2022년 NH투자증권 빅데이터 경진대회 | 데mengu.tistory.com  Githubhttps://github.com/menguri/NH_investment GitHub - menguri/NH_investment: NH투자증권 빅데이터 경진대회 입선상 수상NH투자증..

2022.09.08,2022년 NH투자증권 빅데이터 경진대회가 개최되었다.데이터도, 상금도, 참가팀 수도 거대한 Big 이벤트였다.  https://aifactory.space/competition/detail/2126 2022년 NH투자증권 빅데이터 경진대회 | 데이터, 문화가 되다 aifactory.space  [시상 규모]  솔직히 데이터 분석, IT 공모전 중에서 가장 파격적이었다.입선만 해도 100만 원을 상금으로 준다니,데이터 분석자들이 모인 커뮤니티에 속해 있는데 그곳에서도 이 공모전은 핫했다.  필자 역시 공모전에 관심이 생겼고, 팀원들을 모아 대회에 참석하기로 했다.우리 팀은 모두 대학 학부생으로 구성되어 있으며, 각 전공은 다음과 같다. 경영학부(3학년)통계학과(졸업예정)통계학과(졸업예..

python으로 html 파일을 수정하는 함수를 만들던 중... 다음과 함수가 떴다. ModuleNotFoundError: No module named 'html.entities'; 'html' is not a package (1) 모듈에러라고 해서 import를 잘못했나 봤는데 없었다. (2) 결국 찾아보니, 같은 폴도 내에 html.py 파일이 있으면 이를 import 파일로 인식해서 에러가 뜨는 것이라고 한다. 그래서 냉큼 html.py 파일을 다른 이름으로 바꿔줬더니 해결되었다.

저번 포스팅에선 airflow와 spark을 연동하는 방법에 대해 알아봤습니다. 이번 포스팅에선 간단한 실습을 바로 진행해보도록 하겠습니다. * 본 포스팅은 해당 강의를 참고한 것임을 밝힙니다. [pyspark 세팅하러 가기] https://mengu.tistory.com/25?category=932924 [Spark] 초기 환경 세팅 ft. 호환 문제 해결 이번 포스팅은 Spark 초기 환경 세팅이다. Spark, pyspark, java 등 그냥 설치해서 끝내면 되는 거 아니냐 할 수 있지만, 중간에 버전 호환 문제가 존재해서 막힐 수 있다. 그 부분을 집어주고자 포스팅 mengu.tistory.com [Airflow&Spark 연동하러 가기] https://mengu.tistory.com/124 [..

이번 포스팅에선 Airlfow와 Spark의 연동에 대해 다루겠습니다. Spark에서의 작업을 Airflow를 통해 자동화시키는 작업까지 해보겠습니다. 당연히 Airlflow와 pyspark 환경이 세팅되어 있어야 합니다. * 본 포스팅은 해당 강의를 참고한 것임을 밝힙니다. [pyspark 세팅하러 가기] https://mengu.tistory.com/25?category=932924 [Spark] 초기 환경 세팅 ft. 호환 문제 해결 이번 포스팅은 Spark 초기 환경 세팅이다. Spark, pyspark, java 등 그냥 설치해서 끝내면 되는 거 아니냐 할 수 있지만, 중간에 버전 호환 문제가 존재해서 막힐 수 있다. 그 부분을 집어주고자 포스팅 mengu.tistory.com 목차 📃 Airf..

Airflow란? 작업 스케줄러. Airflow를 이용하면 원하는 시간에, 원하는 작업을 실행시킬 수 있습니다. 이번 포스팅에선 Airlfow의 기초 지식을 알아보도록 하겠습니다. 목차 📃 Airflow 기원 및 장점 📃 Airflow 구조 Airflow 기원 및 장점 📌 기원 Airflow는 에어비앤비에서 개발한 워크플로우 스케줄링, 모니터링 플랫폼입니다. 2016년 아파치 재단의 incubator program으로 탄생했으며, 현재는 아파치 탑 레벨 프로젝트입니다. Airbnb, Yahoo, Paypal, Intel, Stripe 등에서 Airflow를 활용하고 있습니다. 📌 기존 방식의 문제점 기존엔 하나의 어플리케이션에 모든 Task를 집어넣고 실행시켰습니다. pipeline을 한 번에 배포하는 ..