強化学習を「正解ラベルを当てる学習」ではなく、観測から行動を選び、遅れて返る報酬を最大化する閉ループとして捉える。MDP、価値関数、方策、ベルマン方程式、探索と活用、シミュレーション実装までをロボットの例で図解する。