これまでの強化学習の基礎やQ学習とDQNは、環境が一つのエージェントに対してだけ反応するMDPを前提にしていた。しかし倉庫内の複数搬送ロボット、対戦型ゲーム、通信を分担するドローン群のように、複数のエージェントが同時に環境へ働きかける場面は多い。マルチエージェント強化学習（Multi-Agent Reinforcement Learning, MARL）は、この設定で「自分以外も学習し変化し続ける」という単一エージェントのRLにはない難しさを扱う。

30秒で分かる結論

1. なぜ単一エージェントの枠組みが壊れるのか

MDPの中心的な仮定は、環境の遷移P(s'\mid s,a)と報酬R(s,a,s')が、エージェントの方策とは独立に固定されていることだった。エージェントが方策を更新しても、環境そのものの物理法則は変わらない。

複数のエージェントがいる環境では、この前提が崩れる。エージェントiから見た「環境」には、物理法則だけでなく他のエージェント-i（i以外の全員）の方策\pi_{-i}が含まれる。他のエージェントも同時に学習して\pi_{-i}を更新し続けるため、エージェントiにとっての実効的な遷移確率

P_i(s'\mid s,a_i)=\sum_{a_{-i}}P(s'\mid s,a_i,a_{-i})\,\pi_{-i}(a_{-i}\mid s)

は、\pi_{-i}が変わるたびに変化する。これが非定常性（non-stationarity）である。エージェントiから見ると、昨日効果的だった行動が、相手の方策が変わった今日は通用しないかもしれない。経験再生バッファに古い遷移を貯めても、それは「もういない相手」との経験であり、学習を誤らせることさえある。

単一エージェントMDPとマルチエージェント環境の違い 単一エージェントでは環境の遷移が固定だが、複数エージェントでは他エージェントの方策更新が環境の実効的な遷移を変え続ける エージェントi方策 π_i(a|s) 環境物理・遷移P 他エージェント −i方策 π₋ᵢ も更新中 行動 aᵢ 観測・報酬（他者の方策変化を含む） a₋ᵢも環境へ作用 π₋ᵢの更新が実効的な遷移P_iを変える＝非定常性

図1 — エージェントiにとっての「環境」は物理法則だけでなく他エージェントの方策を含む。他者が学習を続ける限り、iにとっての遷移分布は動き続ける。

2. 協調・競争・混合：報酬構造で問題の形が変わる

複数エージェントの問題は、報酬の与え方によって性格が大きく変わる。

設定 報酬の関係 代表例 主な難しさ
協調（cooperative） 全員が共通または高く相関した報酬を最大化 倉庫の複数ロボットで搬送効率を最大化 信用割当、通信の設計
競争（competitive） 一方の得が他方の損（ゼロサムに近い） 対戦ゲーム、価格競争シミュレーション 相手の適応に追従する必要、均衡の不安定さ
混合（mixed / general-sum） 部分的に協力、部分的に対立 交差点での複数車両、資源を奪い合う協調ロボット 協力すべき局面と競う局面の切り替え

協調設定は数学的にはDec-POMDP（Decentralized Partially Observable MDP）として定式化されることが多く、全員が同じ最適方策の組を目指す。競争設定はゲーム理論のナッシュ均衡に近い概念で評価され、単一の「最適方策」が存在しない場合がある——相手の方策が変われば、自分にとっての最適行動も変わるためである。混合設定はもっとも現実に近いが、理論的な保証が最も少ない。

3. CTDE：学習は中央集権、実行は現場任せ

非定常性への対処として広く使われるのが、CTDE（Centralized Training with Decentralized Execution）である。学習中（シミュレータ内、あるいはオフラインの訓練フェーズ）は、全エージェントの観測・行動・場合によっては報酬をまとめて見られる中央の情報を使ってよい。しかし実行時（実機・本番環境）では、各エージェントは自分のセンサから得た局所観測だけで行動を決める。

\text{学習時：}\ Q_{\text{tot}}(s_1,\dots,s_n,a_1,\dots,a_n)\quad\longrightarrow\quad \text{実行時：}\ \pi_i(a_i\mid o_i)\ \ (i=1,\dots,n)

CTDEが実務的な理由は明快である。通信帯域や遅延の制約から、実機のロボット群やドローン群が常に全員の状態を共有しながら動くのは現実的でないことが多い。一方、シミュレータや訓練サーバの中では通信コストを気にせず全情報を使える。CTDEは、この「訓練時だけ得られる特権情報」を最大限使い、実行時には自律的に動ける方策を残す設計である。

CTDEの学習フェーズと実行フェーズ 学習時は中央の批評家が全エージェントの情報を使い、実行時は各エージェントが自分の観測だけで行動する 学習フェーズ（中央集権） 中央の批評家 / Qtot エージェント1の観測 エージェント2の観測 実行フェーズ（分散） エージェント1π₁(a|o₁) のみで行動 エージェント2π₂(a|o₂) のみで行動 通信なしでも動ける

図2 — 学習時は中央の批評家（または混合ネットワーク）が全員の情報を統合し、実行時は各エージェントが局所観測だけで判断する。両者を分けることで、非定常性を訓練側で吸収しつつ、実行時の通信制約に耐えられる。

4. 信用割当問題：誰の手柄で誰の失敗か

協調設定で共通の報酬rしか得られないとき、n体のエージェントのうち誰の行動がその報酬に貢献したのかは自明ではない。すべてのエージェントに同じ報酬をそのまま与えると、実際にはさぼっていたエージェントも「良い評価」を受け取り、逆に貢献したエージェントの信号が他のエージェントの行動に埋もれてしまう。これが信用割当問題（credit assignment problem）である。

一つの対処は、価値関数を個々のエージェントへ分解することである。QMIX（Rashid et al., 2018）は、各エージェントの個別Q値Q_i(o_i,a_i)を非負の重みを持つ混合ネットワークで結合し、全体のQ値Q_{\text{tot}}を作る。

Q_{\text{tot}}(s,\mathbf a)=f_{\text{mix}}\big(Q_1(o_1,a_1),\dots,Q_n(o_n,a_n);s\big),\qquad \frac{\partial Q_{\text{tot}}}{\partial Q_i}\ge 0\ \ \forall i

この単調性制約により、各エージェントが自分のQ_iを貪欲に最大化する行動を選ぶことが、全体のQ_{\text{tot}}を最大化する行動と矛盾しない（IGM: Individual-Global-Max条件）ことが保証される。つまり分散実行時に各自が自分のQ値だけを見て行動しても、全体最適から大きく外れない構造を、学習時に混合ネットワークが作り込む。

別の方向として、COMA（Foerster et al., 2018）は、Actor-Criticの枠組みで反実仮想ベースライン（counterfactual baseline）を使う。エージェントiの行動だけを仮想的に別の行動へ置き換えたときの期待報酬と、実際に選んだ行動の期待報酬の差を advantage として使うことで、「自分の行動が全体の報酬をどれだけ動かしたか」を他のエージェントの寄与から切り分けて評価する。

A_i(s,\mathbf a)=Q(s,\mathbf a)-\sum_{a_i'}\pi_i(a_i'\mid o_i)\,Q(s,(a_{-i},a_i'))

いずれの手法も、共通報酬という一つの数字から、個々のエージェントへの学習信号を取り出す工夫である点は共通している。

5. 代表的なアルゴリズム

アルゴリズム 系統 主な設定 要点
MADDPG（Lowe et al., 2017） Actor-Critic（連続行動） 協調・競争・混合 各エージェントに専用の中央集権的Critic、実行時は自分のActorのみ
QMIX（Rashid et al., 2018） 価値ベース（離散行動） 協調 個別Q値を単調な混合ネットワークで結合、IGM条件を満たす
COMA（Foerster et al., 2018） Actor-Critic 協調 反実仮想ベースラインで信用割当を明示的に扱う
独立学習（Independent Q-Learning / IPPO等） 単一エージェント手法の素朴な拡張 何にでも適用可能 実装は簡単だが非定常性を無視するため学習が不安定になりやすい

MADDPGはDDPGを多エージェントへ拡張したもので、各エージェントiは自分専用の中央集権的CriticQ_i(s,a_1,\dots,a_n)を学習に使い、実行時には自分のActor\pi_i(a_i\mid o_i)だけで行動する。この設計により、協調・競争・混合のいずれの報酬構造にも同じ枠組みを適用できる。

QMIXは連続制御よりも離散行動の協調タスク（StarCraft Multi-Agent Challengeなどのベンチマーク）で強く、単調性制約という比較的強い仮定と引き換えに、分散実行時の一貫性を理論的に保証する。

「独立学習」——各エージェントが他のエージェントの存在を無視して、通常のQ学習やPPOをそのまま並列に走らせる素朴な方法——は驚くほどよく動くことがある一方、非定常性を全く扱っていないため、エージェント数が増えたり相手の方策変化が急だったりすると学習が発散しやすい。CTDE系の手法は、この素朴な方法が抱える問題を、学習時の特権情報で緩和する試みだと理解できる。

6. マルチロボット・群制御との関係

複数の物理ロボットが協調して働く群制御（マルチロボットシステム）は、MARLの応用先の一つである。倉庫内搬送、複数ドローンの編隊飛行、探索・救助の複数機協調などは、いずれも「各ロボットが局所観測しか持たず、通信が制約され、全体としての効率を上げたい」という構造を持ち、CTDEの発想——訓練は集中的に、実行は分散的に——とよく合致する。

ただし群制御には、MARLの学習理論だけでは扱いきれない要素も多い。個体数が可変であること（ロボットが途中で離脱・追加される）、通信トポロジが動的に変わること、衝突回避のような安全制約を学習方策の外側に必ず持たせる必要があることなどである。本サイトではマルチロボットの群制御そのものを主題にした記事はまだ独立して用意していないが、MARLはその基盤理論の一つとして位置づけられる。

7. 実装・評価チェックリスト

まとめ

マルチエージェント強化学習は、単一エージェントのMDPが暗黙に仮定していた「環境は固定」という前提が崩れるところから始まる。他のエージェントの学習が自分にとっての環境を動かし続ける非定常性、協調・競争・混合という報酬構造の違い、共通報酬をどう個々の貢献へ配分するかという信用割当問題——これらに対する現実的な答えがCTDEであり、MADDPGやQMIXはその具体化である。マルチロボットの群制御のように複数の物理エージェントが関わる応用では、学習理論に加えて、可変個体数・動的通信・安全制約という実装上の課題が重なることも押さえておきたい。

参考資料

#強化学習 #マルチエージェント #MARL #CTDE #MADDPG #QMIX #ロボティクス