[Spark] Key-Value RDD 개념 및 코드

 

 

 

Key-Value RDD

(Key, Value) 쌍을 가지는 RDD로, Paris RDD라고 불리기도 한다.

Single Value RDD와 Key-Value RDD는 활용 양상이 조금 다른데, 다음과 같다.

 

Single Value RDD

예) 특정 단어 수 세기

 

Key-Value RDD

예) 특정 드라마가 받은 별점의 평균

 

 

RDD가 무엇인지 모르겠다면? https://mengu.tistory.com/27?category=932924

[Spark] RDD 개념 및 코드

 

 

Key-Value RDD의 경우, Key 값을 기준으로 Value 통계를 내거나 변형할 수 있다.

다른 예시로는,

 

지역별 암환자 수를 알고 싶을 때, 다음과 같은 Key-Value RDD를 이용하면 손쉽게 구할 수 있다.

Key: 지역 ID

Value: 암환자 수

 

코드로 더 자세히 살펴보자.

 

 

 

 

 

Code

---

 

먼저, 코드 실습을 위해 conf를 설정해주자. 

 

import os
import findspark
findspark.init(os.environ.get("SPARK_HOME"))
import pyspark
from pyspark import SparkConf, SparkContext
import pandas as pd
import faulthandler; faulthandler.enable()


# Spark 설정
conf = SparkConf().setMaster('local').setAppName('category-review-averag')
sc = SparkContext(conf=conf)

 

 

 

1) Single RDD 생성

 

single_rdd = sc.parallelize(['짜장면', '짬뽕', '김밥', '짬뽕', '김밥', '떡볶이'])
single_rdd.collect()


['짜장면', '짬뽕', '김밥', '짬뽕', '김밥', '떡볶이']

sc.parallelize() 함수를 이용하여 Single RDD를 생성한다.

RDD는 기본적으로 Lazy Execution이기 때문에, collect() 함수로 action을 해줘야지 형태를 볼 수 있다. 

 

 

 

 

2) Single RDD -> Key-Value RDD 

 

def single2key(rdd):
    foods = rdd
    return (foods, 1)

key_rdd = single_rdd.map(single2key)
key_rdd.collect()


[('짜장면', 1), ('짬뽕', 1), ('김밥', 1), ('짬뽕', 1), ('김밥', 1), ('떡볶이', 1)]

single2key() 함수를 통해 (food, 1)을 반환하도록 했고, map() 함수로 task를 수행시켰다. 그 결과, (Key, Value) 형태의 RDD를 얻었다. 

 

 

 

 

3) Key-Value RDD 활용

 

# reduceByKey()

count = key_rdd.reduceByKey(lambda a, b: a + b)
count.collect()


[('짜장면', 1), ('짬뽕', 2), ('김밥', 2), ('떡볶이', 1)]

reduceByKey() 함수는 데이터를 Key 값을 기준으로 요약한다.

 

 

 

# mapValues()

count_mapvalues = count.mapValues(lambda x: (x,1))
count_mapvalues.collect()


[('짜장면', (1, 1)), ('짬뽕', (2, 1)), ('김밥', (2, 1)), ('떡볶이', (1, 1))]

Key-Value RDD에서 Key를 건드리지 않는 경우, map() 함수보단 mapValues() 함수를 써주는 것이 좋다. 

value만 변형함으로써 전체적인 데이터 파티션은 유지할 수 있기 때문이다. 

 

 

# mapValues()

count_values = count_mapvalues.mapValues(lambda x: (x[0]+x[1])/x[1])
count_values.collect()


[('짜장면', 2.0), ('짬뽕', 3.0), ('김밥', 3.0), ('떡볶이', 2.0)]

 

각자 mapValues()를 활용해보자. 

이번 포스팅에선 Key-Value RDD에 대해서 알아보았다. 

다음 포스팅에선 Transformation, Action 함수들을 자세히 알아보도록 하겠다.