マルチエージェント強化学習入門 — 相手も学習する世界でどう最適化するか

目次 — 知りたいところから読む

前提と読み方

前提知識 確率と機械学習の基礎。

入門 · 原理・構成・判断のための解説です。

これまでの強化学習の基礎やQ学習とDQNは、環境が一つのエージェントに対してだけ反応するMDPを前提にしていた。しかし倉庫内の複数搬送ロボット、対戦型ゲーム、通信を分担するドローン群のように、複数のエージェントが同時に環境へ働きかける場面は多い。マルチエージェント強化学習（Multi-Agent Reinforcement Learning, MARL）は、この設定で「自分以外も学習し変化し続ける」という単一エージェントのRLにはない難しさを扱う。

30秒で分かる結論

単一エージェントのMDPでは環境の遷移確率 $P(s'\mid s,a)$ は固定だが、他エージェントも学習して方策を変えるマルチエージェント環境では、ある一つのエージェントから見た「環境」が時間とともに変わる非定常性が生じる。
設定は大きく協調（全員が共通の報酬を最大化）、競争（ゼロサム的に相手を負かす）、混合（一部協調・一部競争）に分かれ、必要なアルゴリズムが変わる。
学習は全体情報を使い、実行は各エージェントが自分の観測だけで動くCTDE（Centralized Training with Decentralized Execution）が、実機・実環境で扱いやすい主流の枠組みである。
共通報酬を個々のエージェントの貢献へどう配分するかという信用割当問題（credit assignment problem）は、協調的MARL最大の技術的課題である。
MADDPG（Lowe et al., 2017）やQMIX（Rashid et al., 2018）は、それぞれActor-CriticとQ値分解の立場からCTDEを具体化した代表的アルゴリズムである。

1. なぜ単一エージェントの枠組みが壊れるのか

MDPの中心的な仮定は、環境の遷移 $P(s'\mid s,a)$ と報酬 $R(s,a,s')$ が、エージェントの方策とは独立に固定されていることだった。エージェントが方策を更新しても、環境そのものの物理法則は変わらない。

複数のエージェントがいる環境では、この前提が崩れる。エージェント $i$ から見た「環境」には、物理法則だけでなく他のエージェント $-i$ （ $i$ 以外の全員）の方策 $\pi_{-i}$ が含まれる。他のエージェントも同時に学習して $\pi_{-i}$ を更新し続けるため、エージェント $i$ にとっての実効的な遷移確率

P_i(s'\mid s,a_i)=\sum_{a_{-i}}P(s'\mid s,a_i,a_{-i})\,\pi_{-i}(a_{-i}\mid s)

は、 $\pi_{-i}$ が変わるたびに変化する。これが非定常性（non-stationarity）である。エージェント $i$ から見ると、昨日効果的だった行動が、相手の方策が変わった今日は通用しないかもしれない。経験再生バッファに古い遷移を貯めても、それは「もういない相手」との経験であり、学習を誤らせることさえある。

図1 — エージェントiにとっての「環境」は物理法則だけでなく他エージェントの方策を含む。他者が学習を続ける限り、iにとっての遷移分布は動き続ける。

2. 協調・競争・混合：報酬構造で問題の形が変わる

複数エージェントの問題は、報酬の与え方によって性格が大きく変わる。

設定	報酬の関係	代表例	主な難しさ
協調（cooperative）	全員が共通または高く相関した報酬を最大化	倉庫の複数ロボットで搬送効率を最大化	信用割当、通信の設計
競争（competitive）	一方の得が他方の損（ゼロサムに近い）	対戦ゲーム、価格競争シミュレーション	相手の適応に追従する必要、均衡の不安定さ
混合（mixed / general-sum）	部分的に協力、部分的に対立	交差点での複数車両、資源を奪い合う協調ロボット	協力すべき局面と競う局面の切り替え

協調設定は数学的にはDec-POMDP（Decentralized Partially Observable MDP）として定式化されることが多く、全員が同じ最適方策の組を目指す。競争設定はゲーム理論のナッシュ均衡に近い概念で評価され、単一の「最適方策」が存在しない場合がある——相手の方策が変われば、自分にとっての最適行動も変わるためである。混合設定はもっとも現実に近いが、理論的な保証が最も少ない。

3. CTDE：学習は中央集権、実行は現場任せ

非定常性への対処として広く使われるのが、CTDE（Centralized Training with Decentralized Execution）である。学習中（シミュレータ内、あるいはオフラインの訓練フェーズ）は、全エージェントの観測・行動・場合によっては報酬をまとめて見られる中央の情報を使ってよい。しかし実行時（実機・本番環境）では、各エージェントは自分のセンサから得た局所観測だけで行動を決める。

\text{学習時：}\ Q_{\text{tot}}(s_1,\dots,s_n,a_1,\dots,a_n)\quad\longrightarrow\quad \text{実行時：}\ \pi_i(a_i\mid o_i)\ \ (i=1,\dots,n)

CTDEが実務的な理由は明快である。通信帯域や遅延の制約から、実機のロボット群やドローン群が常に全員の状態を共有しながら動くのは現実的でないことが多い。一方、シミュレータや訓練サーバの中では通信コストを気にせず全情報を使える。CTDEは、この「訓練時だけ得られる特権情報」を最大限使い、実行時には自律的に動ける方策を残す設計である。

図2 — 学習時は中央の批評家（または混合ネットワーク）が全員の情報を統合し、実行時は各エージェントが局所観測だけで判断する。両者を分けることで、非定常性を訓練側で吸収しつつ、実行時の通信制約に耐えられる。

4. 信用割当問題：誰の手柄で誰の失敗か

協調設定で共通の報酬 $r$ しか得られないとき、 $n$ 体のエージェントのうち誰の行動がその報酬に貢献したのかは自明ではない。すべてのエージェントに同じ報酬をそのまま与えると、実際にはさぼっていたエージェントも「良い評価」を受け取り、逆に貢献したエージェントの信号が他のエージェントの行動に埋もれてしまう。これが信用割当問題（credit assignment problem）である。

一つの対処は、価値関数を個々のエージェントへ分解することである。QMIX（Rashid et al., 2018）は、各エージェントの個別Q値 $Q_i(o_i,a_i)$ を非負の重みを持つ混合ネットワークで結合し、全体のQ値 $Q_{\text{tot}}$ を作る。

Q_{\text{tot}}(s,\mathbf a)=f_{\text{mix}}\big(Q_1(o_1,a_1),\dots,Q_n(o_n,a_n);s\big),\qquad \frac{\partial Q_{\text{tot}}}{\partial Q_i}\ge 0\ \ \forall i

この単調性制約により、各エージェントが自分の $Q_i$ を貪欲に最大化する行動を選ぶことが、全体の $Q_{\text{tot}}$ を最大化する行動と矛盾しない（IGM: Individual-Global-Max条件）ことが保証される。つまり分散実行時に各自が自分のQ値だけを見て行動しても、全体最適から大きく外れない構造を、学習時に混合ネットワークが作り込む。

別の方向として、COMA（Foerster et al., 2018）は、Actor-Criticの枠組みで反実仮想ベースライン（counterfactual baseline）を使う。エージェント $i$ の行動だけを仮想的に別の行動へ置き換えたときの期待報酬と、実際に選んだ行動の期待報酬の差を advantage として使うことで、「自分の行動が全体の報酬をどれだけ動かしたか」を他のエージェントの寄与から切り分けて評価する。

A_i(s,\mathbf a)=Q(s,\mathbf a)-\sum_{a_i'}\pi_i(a_i'\mid o_i)\,Q(s,(a_{-i},a_i'))

いずれの手法も、共通報酬という一つの数字から、個々のエージェントへの学習信号を取り出す工夫である点は共通している。

5. 代表的なアルゴリズム

アルゴリズム	系統	主な設定	要点
MADDPG（Lowe et al., 2017）	Actor-Critic（連続行動）	協調・競争・混合	各エージェントに専用の中央集権的Critic、実行時は自分のActorのみ
QMIX（Rashid et al., 2018）	価値ベース（離散行動）	協調	個別Q値を単調な混合ネットワークで結合、IGM条件を満たす
COMA（Foerster et al., 2018）	Actor-Critic	協調	反実仮想ベースラインで信用割当を明示的に扱う
独立学習（Independent Q-Learning / IPPO等）	単一エージェント手法の素朴な拡張	何にでも適用可能	実装は簡単だが非定常性を無視するため学習が不安定になりやすい

MADDPGはDDPGを多エージェントへ拡張したもので、各エージェント $i$ は自分専用の中央集権的Critic $Q_i(s,a_1,\dots,a_n)$ を学習に使い、実行時には自分のActor $\pi_i(a_i\mid o_i)$ だけで行動する。この設計により、協調・競争・混合のいずれの報酬構造にも同じ枠組みを適用できる。

QMIXは連続制御よりも離散行動の協調タスク（StarCraft Multi-Agent Challengeなどのベンチマーク）で強く、単調性制約という比較的強い仮定と引き換えに、分散実行時の一貫性を理論的に保証する。

「独立学習」——各エージェントが他のエージェントの存在を無視して、通常のQ学習やPPOをそのまま並列に走らせる素朴な方法——は驚くほどよく動くことがある一方、非定常性を全く扱っていないため、エージェント数が増えたり相手の方策変化が急だったりすると学習が発散しやすい。CTDE系の手法は、この素朴な方法が抱える問題を、学習時の特権情報で緩和する試みだと理解できる。

6. マルチロボット・群制御との関係

複数の物理ロボットが協調して働く群制御（マルチロボットシステム）は、MARLの応用先の一つである。倉庫内搬送、複数ドローンの編隊飛行、探索・救助の複数機協調などは、いずれも「各ロボットが局所観測しか持たず、通信が制約され、全体としての効率を上げたい」という構造を持ち、CTDEの発想——訓練は集中的に、実行は分散的に——とよく合致する。

ただし群制御には、MARLの学習理論だけでは扱いきれない要素も多い。個体数が可変であること（ロボットが途中で離脱・追加される）、通信トポロジが動的に変わること、衝突回避のような安全制約を学習方策の外側に必ず持たせる必要があることなどである。本サイトではマルチロボットの群制御そのものを主題にした記事はまだ独立して用意していないが、MARLはその基盤理論の一つとして位置づけられる。

7. 実装・評価チェックリスト

各エージェントの観測・行動・報酬を、学習時（中央情報あり）と実行時（局所観測のみ）で明確に分離して記録したか。
報酬が協調的か競争的か混合かを最初に定義し、それに合ったアルゴリズム（QMIX系か、MADDPG系か、独立学習か）を選んだか。
学習曲線を全体報酬だけでなく、エージェントごとの寄与・行動比率・個別成功率でも追跡し、特定のエージェントだけが学習を怠っていないか確認したか。
エージェント数やトポロジを変えた条件で評価し、訓練時の人数に過適合していないか確認したか。
実機・実環境では通信遅延や欠落を想定し、各エージェントが通信断でも安全側の行動を取れるか（安全制約は学習方策の外側に置く）を確認したか。

まとめ

マルチエージェント強化学習は、単一エージェントのMDPが暗黙に仮定していた「環境は固定」という前提が崩れるところから始まる。他のエージェントの学習が自分にとっての環境を動かし続ける非定常性、協調・競争・混合という報酬構造の違い、共通報酬をどう個々の貢献へ配分するかという信用割当問題——これらに対する現実的な答えがCTDEであり、MADDPGやQMIXはその具体化である。マルチロボットの群制御のように複数の物理エージェントが関わる応用では、学習理論に加えて、可変個体数・動的通信・安全制約という実装上の課題が重なることも押さえておきたい。

理解を確かめる

一体で学べた方法を複数体へそのまま使える？

他のエージェントも学習すると環境の振る舞いが変わる。協調・競合、観測範囲、学習時と実行時の情報を分ける。

参考資料

現在の項目 · 8 / 8 · 強化学習入門

次に読む

前提を確認するπ0(パイ・ゼロ)徹底解説 — フローマッチングはVLAの行動生成をどう変えたか同じ分野を別の観点から読む報酬設計入門 — 「何を最大化させるか」がRLで一番難しい理由同じ分野を別の観点から読む強化学習入門：模倣学習と逆強化学習 — 手本から方策と目的を学ぶ

#強化学習 #マルチエージェント #MARL #CTDE #MADDPG #QMIX #ロボティクス