強化学習の実装の中で、アルゴリズムよりも報酬関数の設計が結果を左右することが多い。疎な報酬と密な報酬、ポテンシャルベース報酬シェイピングの方策不変性、報酬ハッキングの実例、逆強化学習と制約付きRLまでを整理する。
Behavior Cloning、DAgger、逆強化学習は、報酬を手書きしにくいロボット課題で人や既存システムの実演を使う。共変量シフト、報酬推定、VLAとの接続、評価と安全を式と図で解説する。