[Spark] RDD 개념 및 코드

 

 

 

RDD(Resilient Distributed Dataset)란?

직역하면 탄력적인 분산 데이터셋이다.

말 그대로 데이터를 클러스터에 분산하여 저장하며,

그런 데이터를 탄력적으로 이용(이슈 발생 시 과거 데이터로 돌아가기 등)할 수 있게 하는 데이터셋이다.

 

 

지금부터 RDD의 특징을 톺아보자.

 

 

 

 

 

1. 데이터의 분산

 

RDD는 다음과 같이 데이터를 여러 클러스터에 분산 저장하는 방식이다. 

하지만 여러 클러스터에 흩어져있어도 하나의 파일처럼 사용하는 것이 가능하다. 

 

 

 

# 패키지를 가져오고
from pyspark import SparkConf, SparkContext
import pandas as pd



# Spark 설정
conf = SparkConf().setMaster("local").setAppName("uber-date-trips")
sc = SparkContext(conf=conf)

# 우리가 가져올 데이터가 있는 파일
directory = "C:/DE study/data-engineering/01-spark/data"
filename = "tripdata_03.csv"

# 데이터 파싱
lines = sc.textFile(f"file:///{directory}/{filename}")

 

lines = sc.textFile()을 보자.

sc(SparkContext)으로 RDD임을 지정했지만, lines 객체에 담음으로써 하나의 파일처럼 사용이 가능하다.

 

 

 

 

 

2. Resilient & Immutable

 

데이터가 여러군데서 연산되는데, 여러 노드 중 하나가 망가진다면 어떻게 해야 할까?

RDD는 데이터가 Immutable 하여 이전 버전으로 데이터를 되돌릴 수 있다. 

 

 

RDD는 변환을 해도 RDD 1이 바뀌는 것이 아니라 RDD 2가 새로 만들어진다. 변환을 거칠 때마다 연산 기록이 남으며 이에 따라 문제가 생겨도 쉽게 전 RDD로 돌아갈 수 있다. 

 

즉, Node 1이 연산 도중 문제가 발생하면 복원시키고 Node 2에서 연산하면 된다. 

 

 

 

 

 

3. Type-safe

 

Integer RDD, String RDD, Double RDD 등으로  Type-safe 된다.

이에 따라 컴파일 시 Type를 판별하여 문제를 일찍 발견할 수 있다. 

 

 

 

 

 

4. Unstructured/ Structured Data

 

Unstructured Data: 텍스트, 로그, 자연어

Structured Data: 테이블, RDB, DataFrame

 

구조적, 비구조적 데이터 모두 담을 수 있다. 

 

 

 

 

 

5. Lazy Evaluation

 

Spark Operation = TransForm + Action

 

Spark는 액션을 할 때까지 변환을 실행하지 않는다. Action을 하게 되면 그때서야(Lazy) 변환을 한다.

 

 

 

 

 

 

RDD의 장점은 무엇인가?

1. 유연하다

2. 짧은 코드로 다양한 기능

3. 데이터가 어떻게 변화될 것인가? 에 대해 생각할 수 있다.