タグ · 全7件

#強化学習

複数のエージェントが同時に学習すると、単一エージェントのMDPは成り立たなくなる。非定常性、協調・競争・混合設定、CTDE、信用割当問題、MADDPGとQMIXまでを式と図で整理する。

強化学習の実装の中で、アルゴリズムよりも報酬関数の設計が結果を左右することが多い。疎な報酬と密な報酬、ポテンシャルベース報酬シェイピングの方策不変性、報酬ハッキングの実例、逆強化学習と制約付きRLまでを整理する。

環境の力学を学習し、頭の中で未来をシミュレートする「World Model」。Ha & SchmidhuberのVAE+RNNからDreamerV3、Genie 3、Sora、そしてLeCunが提唱するJEPAまで、生成か非生成かで割れる潮流と、物理的整合性という共通の壁を整理する。

Behavior Cloning、DAgger、逆強化学習は、報酬を手書きしにくいロボット課題で人や既存システムの実演を使う。共変量シフト、報酬推定、VLAとの接続、評価と安全を式と図で解説する。

強化学習を「正解ラベルを当てる学習」ではなく、観測から行動を選び、遅れて返る報酬を最大化する閉ループとして捉える。MDP、価値関数、方策、ベルマン方程式、探索と活用、シミュレーション実装までをロボットの例で図解する。

世界モデル、予測誤差、MPC、Domain Randomization、安全監視を通じ、学習した方策を実機へ移す方法を解説する。

地図・コストマップ・経路計画という古典的パイプラインから、強化学習による End-to-End 化、そしてVision-Languageモデルを組み込んだ基盤モデル化まで。自律移動ロボットのナビゲーション技術の現在地を整理する。