強化学習入門：模倣学習と逆強化学習 — 手本から方策と目的を学ぶ

ロボットに「コップを落とさず棚へ置く」「狭い通路で人を避ける」と教えるとき、よい報酬関数を最初から書くのは難しい。距離だけを褒めれば物を押しのけるかもしれず、成功だけを褒めれば探索がほとんど進まない。模倣学習（imitation learning）は、人、遠隔操作者、既存の自律システムが示した実演から、観測に対する行動を学ぶ。逆強化学習（inverse reinforcement learning: IRL）は、実演の背後にある「何を目的としていたか」を報酬関数として推定し、その報酬で方策を求める。

両者はデータを集めれば自動的に安全になる技術ではない。実演にない状態で方策が何をするか、ラベルを誰がどの遅れで付けるか、失敗例をどう扱うか、そしてロボットへ出す行動を誰が制限するかが中心問題である。本稿はBehavior Cloning（BC）、共変量シフト、DAgger、IRL、VLA（Vision-Language-Action）との接続、評価、安全、データ出典を扱う。強化学習の用語は強化学習の基礎、方策最適化との関係はPPO・SAC入門、視覚言語行動モデルはVLA入門を参照してほしい。

結論：実演は「正解の列」ではなく、運用条件を持つデータである

• BCはデモ状態 s から専門家行動 a を直接予測する教師あり学習であり、速く始められる。しかし学習方策が少し外れた状態で、訓練分布から離れる共変量シフトが起きる。
• DAggerは、現在の方策が実際に訪れた状態へ専門家ラベルを追加し、集約データで再学習する。失敗を収集対象に変えるが、専門家の介入、安全な実行環境、ラベル品質が必要である。
• IRLは実演から報酬 r_\theta(s,a) を推定し、方策をその報酬に対して最適化する。報酬は一意に決まらず、報酬の見栄えではなく、未見条件で生む行動と安全制約で評価する。
• VLAは画像・言語・行動の大規模な条件付き方策としてBCに近い学習を使い得るが、物理的接触、安全境界、時間同期、停止系を免除しない。

デモ収集：何を記録すれば「再現可能な手本」になるか

デモは動画だけではない。少なくとも、観測（カメラ、深度、力、関節状態）、行動（関節指令、速度、把持、停止）、時刻、座標系、タスク指示、成功・失敗、操作者、環境条件、介入イベントを結び付ける。行動が「操作者の意図」ではなく、通信遅れ後にロボットへ届いた値なら、その遅れも記録する。画像とアーム状態が100 msずれていれば、正しい手本でも学習器には矛盾したペアに見える。

データ出典は、収集者の同意、撮影場所の権限、個人情報、第三者の著作物、ロボットの安全責任を含む。公開データセットを混ぜる際も、ライセンス、商用利用、再配布、人物・音声の扱い、センサ較正が自分の用途と一致するかを確認する。「インターネット上の実演」は出典ではなく、来歴・同意・ライセンスを追跡できる記録である。

図1 · ボタンで表示を切り替え

図: Duskcoil作成の概念図。ロールアウトは実測データ収集であり、安全監視・停止・操作者の介入を省略してよい意味ではない。

Behavior Cloning：状態から行動を回帰する

専門家データ D=\{(s_i,a_i^*)\}_{i=1}^N があるとき、連続行動のBCは、例えば

で学習する。離散行動なら交差エントロピー、複数の妥当行動があるなら確率分布・混合密度・拡散モデルなどを使う。平均二乗誤差だけを小さくすると、右へ避ける実演と左へ避ける実演の平均として、危険な中央へ進む行動を出すことがある。行動の多峰性、タスク文脈、操作者の違いを表現しなければならない。

BCの利点は、報酬設計と探索を待たず、オフラインの教師あり学習として始められることだ。弱点は訓練時に専門家が作った状態分布 d_{\pi^*}(s) と、実行時に学習方策が作る d_{\pi_\theta}(s) が異なることにある。時刻ごとの小さな誤差が次の観測を変え、さらに誤差を増やす。特に接触、狭い通路、高速移動では、一歩のずれが回復不能な状態へ進む。

共変量シフトとDAgger

共変量シフトは、入力状態の分布が訓練と実行でずれる問題である。単純化すれば、1ステップの分類誤差が \epsilon でも、長さ T の逐次タスクでは誤った状態が積み重なり、損失が O(T^2\epsilon) のように増え得る。厳密な上界は仮定に依存するが、重要なのは独立同分布の画像分類と違い、方策自身が次の入力を作ることだ。

DAgger（Dataset Aggregation）は、初期デモで学んだ方策を安全な条件で走らせ、その方策が訪れた状態 s に対して専門家の望ましい行動 a^* を照会し、D に追加して再学習する。各反復で方策を混ぜることもある。これにより訓練分布を実行分布へ近づける。だが「ロボットに失敗させて学ぶ」ことを無条件に許す方法ではない。シミュレータ、低速、物理ガード、遠隔非常停止、専門家の即時介入、行動の安全フィルタを先に用意する。

DAggerのラベルには、専門家が実際に操作した行動だけでなく、「その状態なら何をすべきだったか」という反実仮想ラベルを使う。後者は価値が高い一方、専門家の負担、遅延、判断のばらつきを増やす。自律走行の人間安全運転データ、工場の熟練操作、遠隔操作ロボットのデモは、それぞれ危険状態の扱い・専門家定義・ラベルの責任が異なる。データの行数ではなく、どの失敗モードを覆ったかで収集計画を評価する。

逆強化学習：行動ではなく目的を推定する

IRLは、専門家方策 \pi_E の実演から報酬 r_\theta(s,a) または r_\theta(s,a,s') を推定する。最大エントロピーIRLの直感は、専門家が高報酬の軌跡を好むが、同程度によい軌跡の間では不必要に決定論的でない、とすることにある。軌跡 \tau の確率を概念的に

と置き、専門家軌跡の尤度を高めるよう \theta を更新する。推定した報酬に対してRLや最適制御で方策を求めるため、BCよりも新しい初期状態・制約下で目的を再最適化しやすい可能性がある。

しかし報酬の一意性はない。同じ最適方策を生む報酬変換、未観測の制約、専門家の癖が混ざり得る。ある軌跡を説明できる報酬が、他の環境で安全な行動を生む保証はない。GAILのような手法は、専門家と学習方策の占有測度を識別器で近づける見方を取り、明示的報酬を作る代わりに模倣の分布整合を目指す。いずれも、仕様として書くべき「絶対にしてはならない行為」を実演から推測だけで任せる理由にはならない。

VLAとの接続：大規模なBCにも運用境界がある

VLAは画像、言語指示、ロボット状態を条件として、次の行動または行動チャンクを予測する。これは広い意味で、実演データ上の条件付き模倣として理解できる。多様な物体・表現・タスクを学習できても、訓練にない照明、摩擦、カメラ位置、指示の曖昧さ、接触力の制約で外挿する。VLAが「カップを棚へ」と解釈しても、手先力・衝突距離・関節上限を保証するのは別の低位制御と安全監視である。VLA入門も併読したい。行動をトークン列ではなく連続値として生成する設計の具体例は、π0徹底解説でフローマッチングの仕組みまで踏み込んで扱っている。

VLA出力をそのままモータへ送るのではなく、座標・単位・速度・加速度を検証し、運動学・衝突検査・インピーダンスまたは位置/速度制御器を介す。言語の曖昧性は安全な確認・拒否・低速モードへ結び、観測品質が落ちたら行動を継続しない。大規模データの量は、停止距離や挟圧力の物理的上限を代替しない。

評価、安全、データ出典のチェック

オフラインの行動誤差だけで方策を合格にしてはならない。初期位置、物体、照明、背景、摩擦、遅延、指示表現、外乱を分けたホールドアウト評価で、成功率、衝突率、停止率、介入回数、最大力、完了時間、最悪ケースを測る。平均成功率が高くても、まれな人身・設備リスクは別の安全基準で扱う。DAgger反復の各版、デモ出典、ラベル者、データ分割、モデル、閾値、失敗動画・ログを追跡可能にする。

まとめと参考資料

BCは実演を最短で動く方策へ変えるが、実行方策が作る状態分布を扱わなければならない。DAggerはその分布へデータを広げる強力な考え方で、だからこそ安全に介入・停止できる収集系が必要になる。IRLは目的を再利用する可能性を開くが、推定報酬を安全仕様と取り違えない。模倣学習を実機で使う品質は、モデル名より、出典の明確なデータ、未見条件での評価、独立した安全制約、失敗時に止まれる運用で決まる。

• Pomerleau, 1989: ALVINN
• Ross et al., 2011: A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning（DAgger）
• Ziebart et al., 2008: Maximum Entropy Inverse Reinforcement Learning
• 強化学習の基礎、PPO・SAC入門、VLA入門