[Spark] 초기 환경 세팅 ft. 호환 문제 해결

 

 

 

 

이번 포스팅은 Spark 초기 환경 세팅이다. 

Spark, pyspark, java 등 그냥 설치해서 끝내면 되는 거 아니냐 할 수 있지만,

중간에 버전 호환 문제가 존재해서 막힐 수 있다.

그 부분을 집어주고자 포스팅을 한다.

* 해당 포스팅은 windows 10 환경에서 진행한다.

 

 

 

 

 

 

Anaconda 설치

---

먼저 https://www.anaconda.com/ 링크에 접속한다.

Downloads를 눌러서 설치 파일을 받아준다.

 

 

 

그 다음, exe 파일을 눌러서 다음 설치를 쭉 진행한다.

 

 

 

 

 

Anaconda prompt를 열어서 python 위치를 확인한다. 

 

 

 

 

 

 

설치 경로: C:\Users\W21841\anaconda3\python.exe

* 개인 컴퓨터마다 경로는 다를 수 있다.

 

 

 

 

 

Java 설치

---

 

Oracle Java 링크 https://www.oracle.com/java/technologies/downloads/ 에 접속한다. 

 

 

 

주의

Java 버전은 다양하게 있다. 8, 11, 17, 18... 등

하지만 pyspark 3.2.1와 호환되는 Java 버전은 8, 11(확인된 것만)이다. 

* Java 18을 깔면 pyspark가 안 되는 상황이 벌어진다. 내가 그랬다...

 

 

 

스크롤을 쭉 내리면 다음과 같은 8, 11 버전을 확인할 수 있다. 

11 버전을 깔아서 세팅했고, 이 버전을 설치하려면 Oracle 회원가입을 해서 1회 로그인해야 한다. 간단하니 진행하길 바란다. 

 

 

아나콘다와 마찬가지로 쭉 깔아주고 설치 경로를 확인한다.

 

 

 

 

설치 경로: C:\Program Files\Java\jdk-11.0.15

 

 

 

 

 

Spark 설치

---

https://spark.apache.org/downloads.html 경로 접속

 

 

 

Download Spark: spark-3.2.1-bin-hadoop2.7.tgz

이 부분을 클릭.

 

 

download 링크를 클릭.

 

 

 

Spark 압축을 C 드라이버에 풀고, 설치 경로를 확인해준다.

설치 경로: C:\Spark\spark-3.2.1-bin-hadoop2.7

 

 

 

 

 

 

Hadoop 설치

---

https://github.com/cdarlint/winutils 경로 접속

 

 

Download ZIP을 눌러서 압축 파일을 다운받습니다. 

 

압축 해제 후, Spark 다운받을 때 옵션으로 선택한 Hadoop 버전을 복사합니다.

 

 

 

똑같이 원하는 경로를 선택하여 붙여넣기를 해주고, 경로를 확인해둡니다.

설치 경로: C:\Hadoop

 

 

 

 

 

환경변수 설정

---

설치가 끝났다면, 접근이 가능하도록 PATH 설정을 해줘야 한다.

Windows에서 '시스템 환경 변수 편집'이라고 치고 클릭한다.

 

 

 

시스템 환경 변수 편집 -> 환경 변수

 

 

 

새로 만들기를 통해 다음 경로들을 모두 만들어 준다. 

 

 

 

Hadoop

 

 

Spark

 

 

Anaconda

 

 

Java

 

 

마지막, PATH 경로를 모두 설정한다.

 

 

 

 

%등록 경로%

이렇게 새로 만든 후, 확인 - 적용을 해준다.

그러면 초기 Spark 세팅은 모두 끝난다. 

Anaconda Prompt를 통해 확인해주자.

 

 

import pyspark

잘 작동하는 것을 볼 수 있다. 

 

 

pyspark 혼자서도 잘 실행되는지 확인한다.

 

 

 

 

 

크게 Spark 표시가 뜬 걸 확인했다면, 세팅에 성공한 것이다.

축하한다.