連続した操舵角や関節トルクを扱うため、方策を直接更新する方策勾配法からActor-Critic、PPO、SACまでをつなげて解説する。クリッピング、エントロピー正則化、評価指標、Sim-to-Realの安全境界を図と式で整理する。