[Spark] 분산/병렬 처리할 때 주의할 점

 

 

 

 

앞 포스팅에서 언급했듯이, Spark는 분산/병렬 처리를 지원한다.

하지만 분산/병렬 처리가 된다고 마냥 믿고 쓰기만 해서는 안된다.

분산/병렬 처리의 성능을 올리고, 비용을 줄이기 위해선 생각해줘야 할 것들이 몇몇 있다.

지금부터 그 요소들을 살펴보고 어떻게 코딩해야 할지 방향을 짚어보자.

 

 

 

 

 

Distributed Data-Parallel

---

먼저 Spark의 핵심인 'Distributed Data-Parallel'에 대해서 알아보자.

 

분산된 환경에서의 병렬 처리란?

 

1) 데이터를 여러 개로 나누어 여러 노드로 보낸다.

2) 각 노드에서 독립적으로 task를 시행.

3) 각자 만든 결괏값을 합친다.

 

이 일련의 과정이 분산된 환경에서의 병렬 처리이며, 그림으로 표현하면 다음과 같다. 

 

 

 

 

 

 

Spark를 처음 접한다면, 그래서 어떻게 분산/병렬 처리를 한다는 건데?라고 의문을 가질 수 있다. 

이전 포스팅에서 다뤘던 'RDD'를 이용하면 손쉽게 분산/병렬 처리를 할 수 있다. 

 

RDD.map(task)

 

RDD, 그 자체로 이미 데이터는 분산되어 있다. 그 상태에서 map() 함수에 특정 task를 넣어주면 알아서 분산된 상황에서 task를 실행한다. 이것이 바로 분산된 환경에서의 병렬 처리이다. 

 

 

자, Distributed Data-Parallel 개념을 알아보았다.

그렇다면 분산/병렬 처리의 성능을 끌어내기 위해선 어떤 요소를 신경 써야 할까?

 

 

 

 

 

분산/병렬 처리할 때 주의할 점

---

분산처리 시 다음과 같은 문제를 신경 써야 한다. 

 

1) 부분 실패 - 노드 몇 개가 실패하는 경우

2) 속도 - 많은 네트워크 통신을 필요로 하는 경우, 속도 저하

 

 

첫 번째 문제인 '부분 실패'의 경우, RDD를 이용한다면 해결할 수 있다. RDD는 변형 이전의 데이터 로그를 가지고 있기 때문에 실패해도 돌아가면 그만이다. 

문제는 두 번째 문제이다. 분산된 환경에서의 병렬 처리는 결국 노드 간의 데이터 통신을 필요로 한다. 통신에 담기는 데이터 크기가 커지고, 노드 간 상호작용이 복잡해질수록 속도는 급격히 저하된다. 

따라서 프로그램을 작성할 때 이런 통신 문제를 신경 써줘야 한다. 다음 코드를 살펴보자.

 

 

# 1
RDD.map(A).filter(B).reduceByKey(C).take(100)



# 2
RDD.map(A).reduceByKey(C).filter(B).take(100)

 

 

첫 번째 코드는 (1) task A를 수행하고 (2) B 조건으로 filtering을 한 다음, (3) 노드 간 통신을 이용하여 데이터를 요약했다. (4) 그 후, take(100) 함수를 이용해 100개의 요소를 랜덤으로 집었다. 

 

두 번째 코드는 (1) task A를 수행하고 (2) 노드 간 통신을 이용하여 데이터를 요약한 다음, (3) B 조건으로 filtering 했다. (4) 그 후, take(100) 함수를 이용해 100개의 요소를 랜덤으로 집었다.

 

 

어떤 코드가 더 성능이 좋을까?

한 번 혼자 생각해보자. 

.

.

.

.

답은 첫 번째 코드이다.

그 이유는, 노드 간 통신을 하기 전 데이터 크기를 먼저 줄여줬기 때문이다. 크기가 줄었기에 통신을 할 때도 속도가 더 빨라진 것이다. 그에 반해, 두 번째 코드는 데이터 크기를 그대로 가져가서 통신했기 때문에 속도가 상대적으로 느릴 수밖에 없는 것이다. 

이처럼 통신을 하기 전 데이터 크기/복잡도를 줄여준다거나, 통신 자체를 간소화한다면 속도 저하를 막을 수 있다. 이런 요소들을 생각하며 프로그램을 짠다면 분산/병렬 처리를 더 효율적으로 활용할 수 있을 것이다. 

 

 

 

 

분산/병렬 처리 시 주의할 점을 살펴보았다. 

다음 포스팅은 Key-Value RDD에 대해 다뤄보도록 하겠다.