強化学習入門
MDPとベルマン方程式から、深層強化学習、模倣学習、Sim-to-Realまでをロボット応用とともに解説します。
到達点と前提を確認して経路を選べます。最初から読むか、必要な項目へ進んでください。
解説記事 · 8ブラウザ実験 · 0
最初の項目を読む: 強化学習の基礎 — MDP・ベルマン方程式・探索と活用をロボットで理解する →前提と読み方 確率と機械学習の基礎。
- 解説記事 · 入門 · 13分
強化学習の基礎 — MDP・ベルマン方程式・探索と活用をロボットで理解する
強化学習を「正解ラベルを当てる学習」ではなく、観測から行動を選び、遅れて返る報酬を最大化する閉ループとして捉える。MDP、価値関数、方策、ベルマン方程式、探索と活用、シミュレーション実装までをロボットの例で図解する。
前提と読み方
確率と機械学習の基礎。
- 解説記事 · 入門 · 10分
Q学習とDQN入門 — 表のQ値から深層強化学習へ
Q学習がベルマン最適方程式を使って行動価値を更新する仕組みを、表形式からニューラルネットワークによるDQNまで追う。経験再生、ターゲットネットワーク、過大評価、安全なロボット適用を図と式で解説する。
前提と読み方
確率と機械学習の基礎。
- 解説記事 · 入門 · 10分
方策勾配・PPO・SAC入門 — 連続行動を安定して学ぶ
連続した操舵角や関節トルクを扱うため、方策を直接更新する方策勾配法からActor-Critic、PPO、SACまでをつなげて解説する。クリッピング、エントロピー正則化、評価指標、Sim-to-Realの安全境界を図と式で整理する。
前提と読み方
確率と機械学習の基礎。
- 解説記事 · 入門 · 12分
報酬設計入門 — 「何を最大化させるか」がRLで一番難しい理由
強化学習の実装の中で、アルゴリズムよりも報酬関数の設計が結果を左右することが多い。疎な報酬と密な報酬、ポテンシャルベース報酬シェイピングの方策不変性、報酬ハッキングの実例、逆強化学習と制約付きRLまでを整理する。
前提と読み方
確率と機械学習の基礎。
- 解説記事 · 入門 · 8分
モデルベース強化学習とSim-to-Real入門
世界モデル、予測誤差、MPC、Domain Randomization、安全監視を通じ、学習した方策を実機へ移す方法を解説する。
前提と読み方
確率と機械学習の基礎。
- 解説記事 · 入門 · 10分
強化学習入門：模倣学習と逆強化学習 — 手本から方策と目的を学ぶ
Behavior Cloning、DAgger、逆強化学習は、報酬を手書きしにくいロボット課題で人や既存システムの実演を使う。共変量シフト、報酬推定、VLAとの接続、評価と安全を式と図で解説する。
前提と読み方
確率と機械学習の基礎。
- 解説記事 · 入門 · 18分
π0(パイ・ゼロ)徹底解説 — フローマッチングはVLAの行動生成をどう変えたか
Physical Intelligenceが2024年に発表したπ0を、原論文の記述に基づいて分解する。PaliGemma VLMバックボーンと専用Action Expertの併走構成、条件付きフローマッチングによる連続行動生成、7種類のロボットにまたがるクロスエンボディメント学習まで、RT-2/OpenVLA型の自己回帰VLAと何が違うのかを数式付きで検証する。
前提と読み方
確率と機械学習の基礎。
- 解説記事 · 入門 · 13分
マルチエージェント強化学習入門 — 相手も学習する世界でどう最適化するか
複数のエージェントが同時に学習すると、単一エージェントのMDPは成り立たなくなる。非定常性、協調・競争・混合設定、CTDE、信用割当問題、MADDPGとQMIXまでを式と図で整理する。
前提と読み方
確率と機械学習の基礎。