[논문리뷰] Sample-Efficient Multi-agent RL with Reset Replay

 

 

다음 주, 연구실 논문 세미나에서 논문 리뷰 발표를 한다.

논문 제목은 "Sample-Efficient Multi-agent Reinforcement learning with Reset Replay (Yaodong Yang, 2024, ICML)"

 

논문 키워드의 기본 개념들을 훑고, 세부적인 내용을 이해하는 방식으로 진행하고자 한다. 

 

Keyword: Multi-agent Reinforcement learning, Sample Efficient, Reset Replay, Buffer

 

 

https://openreview.net/forum?id=w8ei1o9U5y&referrer=%5Bthe%20profile%20of%20Pheng-Ann%20Heng%5D(%2Fprofile%3Fid%3D~Pheng-Ann_Heng1)

Sample-Efficient Multiagent Reinforcement Learning with Reset Replay

 

 

 

1. Introduction/Background: MARL & 그 외 개념

MARL(Multi-Agent Reinforcement Learning)은 Single 강화학습과 달리 다수의 에이전트가 존재한다. 에이전트들은 환경과 서로의 행동을 모두 고려하여 자신의 정책을 최적화한다. 서로의 행동을 고려하기에, MARL에선 협력(Cooperation), 경쟁(Competition), 상호작용(Dynamics)이 중요한 요소로 작용한다. 여러 에이전트의 상호 작용을 정책 학습에 고려해야 하기 때문에 Sample Efficient가 중요해진다. 논문은 이 Sample Efficient를 올리면서 학습 성능을 올리는 방법을 제시한다. 

 

 

1.1. MDP(Markov decision process) ➡️ Markov Games

멀티 에이전트는 단일 에이전트를 학습하는 모델링 방법인 MDP의 확장된 버전인 Markov Games를 쓴다. 두 모델링 방법 모두 구성요소는 같다. 상태 공간(State), 행동 공간(Action), 상태 전이 함수(P(s|a)), 보상 함수(R(s, a)), 할인 인자(gamma).

 

다만, Markov Games는 환경과 더불어 다른 에이전트의 환경도 모두 고려하기 때문에 다음과 같은 수식을 가진다.

 

(1) 상태 전이 함수: $$ P(s' \mid s, a_1, a_2, \dots, a_n) $$

(2) 각 에이전트 i에 대한 보상 함수: $$ R_i(s, a_1, a_2, \dots, a_n) $$

(3) 목표 함수: $$ R_i = \sum_{t=0}^{\infty} \gamma^t r_i(s_t, a_{1,t}, a_{2,t}, \dots, a_{n,t}) $$

 

앞서 언급했듯이, Markov Games에선 서로의 행동들이 모두 고려됨을 알 수 있다. State도 이전 환경은 물론, 각 에이전트의 행동들에 영향을 받는다. 동적 환경, 에이전트끼리의 상호작용이 존재하기에 상대적으로 복잡도가 높고, 많은 학습을 필요로 한다. 

 

Series(직렬 방식): 각 에이전트가 순차적으로 학습한다. 한 번에 한 에이전트만 학습하고 나머진 대기 상태. 상호작용 효과 낮음.
Parrallel(병렬 방식): 여러 에이전트가 동시 학습. 정적(일정 기간 정책 유지), 동적(결과 즉시 반영) 정책 업데이트가 존재한다. 멀티 에이전트는 보통 효율성과 학습 속도를 위해 Parrallel 방식을 선호한다.

 

 

1.2. Replay Ratio, Sample Efficient

멀티 에이전트는 상태 공간이 고차원적이며 Single Agent에 비해 훨씬 다양해진 상황을 정책으로 일반화해야 하기에, 많은 샘플을 필요로 한다. Sample Efficient를 더욱 갖추기 위한 노력의 과정이 논문의 주제임을 참고.

 

Replay Ratio는 환경과 상호작용할 때마다 Agent의 parameters를 업데이트하는 횟수이다. 환경과의 상호작용엔 비용이 든다. 최대한 비용을 줄이기 위해, Environments interaction 1회마다 업데이트를 여러 번 해주는 것이다. 이렇게 여러 번 해주면 Sample Efficient(샘플 효율성)를 증가시킬 수 있다. 

 

샘플 효율성이란? 수집된 데이터를 얼마나 효과적으로 사용하는지를 나타내는 개념이다. Sample Efficient를 가졌다면 적은 데이터로 빠르게 성능을 향상할 수 있음을 의미하는데, Replay Ratio를 올리면 직관적으론 적은 상호작용(적은 데이터, 적은 비용)으로 다수 학습을 통해 원하는 성능을 달성시킨다. 따라서 Replay Ratio는 Sample Efficient와 강한 연관성을 가졌다고 할 수 있다. 

 

Sample Efficient 수식: Replay Buffer에서 샘플링되는 데이터 경험의 횟수에 대한 기댓값을 나타낸다. 

$$
\mathbb{E}[N_{\text{sampled}}] = \frac{N_{\text{RR}} \cdot N_{\text{B}}}{V \cdot T_{\text{U}}}
$$

(1) $$ N_{\text{RR}} $$ : Replay ratio. 상호작용 한 번에 몇 번의 업데이트가 수행되었는가를 나타낸다.

(2) $$ N_{\text{B}} $$ : Batch size. 리플레이 버터에서 샘플링된 경험 데이터의 개수

(3) V : Data acquisition Speed. 환경과 상호작용하는 동안 단위 시간마다 수집되는 데이터 경험의 개수

 

(4) $$ T_{\text{U}} $$ : Update interval. 업데이트가 이루어지는 시간 간격을 나타낸다.

 

만약 $$ N_{\text{RR}} = 4 \quad | \quad N_{\text{B}} = 32 \quad | \quad V = 2 \quad | \quad T_{\text{U}} = 4 $$ 라면, Sample Efficient는 16이다. 각 4 스텝마다 1회의 상호작용이 일어난다. 상호작용마다 4번의 업데이트가 진행되고, 1번의 업데이트마다 32개의 데이터 경험이 쓰인다. 만약 30 스탭이 진행되었다면, 총 7~8회 업데이트가 이뤄졌으며, 총 60개의 데이터 경험(30x2)이 수집된 것이다. 

 

수식만 본다면, 다른 값들이 고정되어 있다는 가정하에 Replay Ratio만 증가시키면 Sample Efficient를 극대화할 수 있을 것으로 보인다.

 

 

1.3. Plasticity Loss in Reinforcement Learning

하지만 무분별하게 Replay Ratio만 증가시키면 Plasticity Loss가 발생하여 학습에 부정적인 영향을 줄 수 있다.

Plasticity는 신경과학과 연관이 있는 개념으로, 에이전트가 환경과 상호작용하여 정책이나 행동을 변화시키고 적응하는 능력을 말한다. 즉, 상호작용 한 번에 같은 데이터를 활용한 학습을 너무 많이 반복하면 모델이 적응 능력을 잃게 되는 것이다.

 

Plasticity를 수식으로 표현하면 다음과 같다. 초기 성능(baseline b)과 최근 업데이트된 파라미터의 loss 기댓값을 비교한다. 이 차이가 클수록 가소성이 높음을 의미한다.

$$ P(\theta_t) = b - \mathbb{E}_{l \sim L}[l(\theta^*_t)], \quad \text{where} \quad \theta^*_t = \text{OPT}(\theta_t, l) $$

 

Plasticity Loss는 다음과 같다. 학습 과정에서 네트워크 적응 능력이 얼마나 감소했는지를 나타내는 지표이다. 학습 초기 시점과 마지막 시점의 차이로 계산된다. 

$$ P(\theta_{t=K}) - P(\theta_{t=0}) $$

 

위의 가소성이 학습 시작부터 끝까지 일정하게 유지된다면, 모델이 학습 후에도 새로운 환경에 대한 적응 능력을 잃지 않았음을 의미한다.

 

논문은 Sample Efficient를 위해 Replay Ratio를 올리면서도  Plasticity Loss가 발생하지 않는 2가지 방법을 제안한다.

 

 

 

2. Method & Algorithm

2.1. 첫 번째 방법: Shrink & Perturb

위에서 언급했던 대로, Replay ratio만 높이면 가소성 손실이 발생한다. 이는 학습을 불안정하게 하고, agent가 학습하는 정책의 퀄리티를 떨어뜨린다. 즉, 오버피팅이 발생하게 된다. 이를 보완하기 위한 방법이 Shrink&Perturb(줄이기+변화)이다. 가소성 유지를 위해 네트워크의 파라미터를 일정 주기에 따라 reset 시키는 것이라 보면 된다.

 

MARL에 중요한 요소인 중앙 집중식 비평가(Centralized critic network)와 에이전트 정책 혹은 Q-value network에 가소성을 주입하는 방법이다. 

"MARR performs Shrink & Perturb to inject plasticity into both the centralized critic network and each agent's policy or Q-value network to recover learning abiliity of these networks" -paper-

 

 

Formulation of Shrink&Perturb in MARR(=MARL + 논문 제안 방식)

 

(1) Agent's policy parameters

$$ \theta_i^t \leftarrow \alpha \theta_i^t + (1 - \alpha) \theta_i^0, \quad \text{for } i = 1, 2, \ldots, N  $$

 

(2) Centralized critic network parameters

$$ \phi^t \leftarrow \alpha \phi^t + (1 - \alpha) \phi^0 $$

 

Interpolation factor인 알파는 최근 parameters를 얼마나 남겨둘지를 정한다. 수식을 보면 알 수 있듯이 초기의 파라미터를 일부 주기적으로 가져옴으로써 초기의 가소성을 현재 모델에 계속 주입하는 것이라 생각하면 된다.

 

이렇게 되면 high-replay-ratio가 가능해지지만, same transition experience를 업데이트할 확률이 높아지게 된다. 이때 데이터의 다양성을 위해 사용하는 방법이 Data Augmentation이다. 

 

 

2.2. 두 번째 방법: Random amplitude Scale - Data Augmentation

샘플 데이터의 다양성을 위해서 샘플링된 transition batch B에 data augmentation을 적용한다. 방식은 random amplitude scale 방식이다. 이 방법은 기존의 방향성을 유지한 상태에서 랜덤으로 진폭을 바꾸는 식으로 진행한다.

 

a sampled transition experience

$$ (s, o, a_t, r, s', o') $$

 

Agent가 경험하는 observation과 state는 다음과 같은 방식으로 Scaling된다.

$$ o_i \leftarrow o_i \times z, \quad o'_i \leftarrow o'_i \times z, \quad \text{for } i = 1, 2, \ldots, N $$

$$  s \leftarrow s \times z, \quad s' \leftarrow s' \times z $$

z는 range[a, b]를 가진 uniform distribution의 랜덤 값이다.  * z ~ U(a, b)

Random amplitude scale은 배치별로 랜덤 하게 적용되지만, 시간에 대해선 일관성을 가진다.

 

 

 

3. Experiment & Ablation Study                                   

3.1. MARR 성능 비교

SMAC(스타크래프트) 환경에서 유명한 모델로는 QMIX, QPLEX, ATM 등이 있다. 이 모델에 대하여 MARR을 적용했을 때, 성능이 어떻게 향상되었는지 비교하는 실험을 진행하였다. 실험 결과, 모든 시나리오에서 MARR을 적용한 모델이 우수한 성능을 보이는 것을 알 수 있다. 

s: Stalkersm
sc: Spine Crawler
z: Zealot
m: Marine

 

 

 

3.2. Parallel Setting and Series Setting with Replay Ratio

 

 

 

첫 번째 Ablation Study로 병렬(Parallel) 학습이 순차적(Series) 학습보다 High replay ratio에 더 적절한지를 확인한다. 옆의 이미지에서 Replay ratio만 바꿔주며 각 방식으로 학습했을 때의 성능을 확인할 수 있다. Parallel이 Series보다 Replay Ratio for good performance가 높은 것을 확인할 수 있다. 

 

두 번째 Ablation Study로 MARR의 replay ratio별 성능 확인이다. 두 시나리오에서 단순 Series, Parallel보다 높은 성능을 보이지만, 마찬가지로 최적 Replay ratio가 존재하며, 이는 다른 두 모델보다 값이 높았다.

 

 

 

 

 

 

 

3.3. Component of MARR, Shrink & Perturb and Data Augmentation

 

 

MARR의 각 Component를 적용했을 때와 안 했을 때를 비교한 실험도 진행했다. 실험에 따르면, Baseline에서 Data augmentation만 진행했을 때는 성능 향상이 크지 않았지만, Baseline에서 S&P를 적용했을 땐 큰 성능 향상을 보이는 것으로 나타났다. 

 

 

 

 

 

 

 

 

 

3.4. Experiment Analysis of Network Plasticity

논문의 주요 Contribution인 Plasticity loss 방지 성능을 확인한다. L2 gap를 사용하여 loss 유무를 확인했다. 

 

L2 gap은 두 벡터 간의 차이를 측정하는 방법이다. L2 gap은 훈련된 네트워크 파라미터와 초기 네트워크 파라미터 간의 차이를 측정하는 값으로, 수식은 다음과 같다:
$$
\| \theta_{\text{trained}} - \theta_{\text{initial}} \|_2 = \sqrt{\sum_{i} (\theta_{\text{trained}, i} - \theta_{\text{initial}, i})^2}
$$
여기서:

$$ \theta_{\text{trained}} $$는 훈련된 네트워크의 파라미터 벡터,
$$ \theta_{\text{initial}} $$는 초기 네트워크의 파라미터 벡터.

 

 

 

 

3.5. Analysis of Running Time

MARR은 학습 효율을 높이는데 집중한다. 병렬 학습과 높은 재사용 비율을 적용하여 환경과의 상호작용을 줄이는 대신 네트워크 학습에 집중할 수 있도록 했다. 

 

시간 요소 수식을 분석하면, 이것이 사실임을 확인할 수 있다.

전체 실행 시간은 전체 상호작용에 든 시간 항과 네트워크 업데이트 시간 항으로 이뤄져 있다. 

$$
h_{\text{tot}} = \frac{T_{\text{tot}} \cdot h_{\text{env}}}{P_{\text{env}}} + \frac{T_{\text{tot}} \cdot NRR \cdot h_{\text{upt}}}{T_U} + h_{\text{rst}}
$$

 

첫 번째 항: (전체 상호작용 횟수 * 상호작용당 실행 시간)/병렬 환경 수

두 번째 항: (전체 상호작용 횟수 * NRR * 업데이트 당 실행 시간)/네트워크 업데이트 간격

세 번째 항: 기타 초기화나 부가 작업에 드는 시간

 

MARR을 활용하면 전체 상호작용 횟수 및 시간을 줄이면서 NRR을 늘리기에, 네트워크 업데이트에 시간을 집중시키는 구조를 가진다.

 

 

4. Limitations 

(1) On-policy 방식에 대한 부적합성

본 논문은 off-policy에서 과거 데이터를 buffer에서 꺼내와서 여러 번 반복 학습하는 것이 핵심이다. 하지만 on-policy는 현재 수집한 데이터를 즉시 활용하여 업데이트하는 방식으로 작동하기에 적절하지 않다.

 

(2) 데이터 품질 문제

MARR을 실제 상황에 적용하는데 한계가 존재한다. 똑같은 데이터를 많이 활용하기에, 원본 데이터의 퀄리티가 더욱 중요해진다. 하지만 실제 데이터는 노이즈가 껴있는 경우가 굉장히 많기 때문에, 논문의 성능이 발현되지 않을 수 있다.

 

(3) 특정 상황에서의 진폭 적용 문제

선형적으로 스케일링된 특성들에 대해선, 변화를 시키더라도 선형적인 특성이 유지되어야 한다. 이렇듯 랜덤 진폭 스케일링이 어려운 상황이 존재한다.