World Model(世界モデル)とは、エージェントが行動aを取ったときに環境の状態がどう遷移するかを学習によって予測するモデルの総称である。ロボット工学・強化学習の文脈では「頭の中で試行錯誤してから実世界で動く」ための内部シミュレータとして、映像生成AIの文脈では「もっともらしい映像を生成するだけでなく、物理法則に従って環境そのものをシミュレートする」ための土台として、この数年で急速に注目を集めている概念である。

NVIDIANVIDIA Cosmos

画像: NVIDIAロゴ、Wikimedia Commons。物理AI向けWorld Foundation ModelであるCosmosシリーズを開発する企業として掲載

一枚でつかむWorld Model

動画・状態・報酬から世界モデルを学習し、その潜在空間内で想像上のロールアウトを行い、行動へ変換して実世界または模擬環境へ適用し、観測を新しい学習データへ戻すWorld Modelの学習・推論ループ

図: Duskcoil作成。モデルベース強化学習の内部シミュレータとしての利用と、動画生成モデルとしての利用を単純化して1つの図にまとめている。

World Modelを理解する軸は、何を予測するか(生の映像のピクセルか、圧縮された潜在表現か)と、何のために使うか(方策学習の内部シミュレータか、人間が見るための映像生成か)の2つに分けて見ることにある。同じ「World Model」という言葉が、DreamerのようにロボットのSim-to-Real学習を支える確率的な潜在力学モデルを指すこともあれば、Sora・Genieのように数十億パラメータ規模の動画生成モデルを指すこともあり、文脈を取り違えると議論がかみ合わなくなる分野である。

系譜: Ha & Schmidhuberの原論文からDreamerV3へ

「World Models」という語が現在の意味で広まった起点は、David HaとJürgen Schmidhuberが2018年に発表した論文である。VAE(変分オートエンコーダ)で視覚観測を圧縮表現へ変換し、RNN(LSTM)がその圧縮表現の時間変化を予測するという構成で、エージェントが学習した潜在空間の「中だけ」で方策を訓練できることを示した。

この設計は2019年のPlaNetで、決定論的成分と確率的成分を組み合わせたRSSM(Recurrent State-Space Model)により、複数ステップ先までの予測精度と一貫性を大きく改善した。続くDreamerは、PlaNetがモデル予測制御(MPC)としてその都度計画を解き直していたのに対し、世界モデルの中で方策(actor)と価値関数(critic)を誤差逆伝播によって直接学習するという設計へ発展させ、これが以後の「Dreamer系列」の基本形になった。DreamerV2は離散的な潜在表現を導入し、そして2025年にNature誌に掲載されたDreamerV3は、固定のハイパーパラメータ調整なしにMinecraftでのダイヤモンド採掘を含む多様なドメインで汎化する性能を示し、モデルベース強化学習における世界モデルの実用性を大きく引き上げた。

生成AI側からの合流: Sora・Genie・World Labs

強化学習の系譜とは別に、動画生成AIの側からも「World Model」という言葉が使われるようになった。OpenAIは2024年、動画生成モデルSoraの技術報告で「動画生成モデルのスケーリングは、物理世界の汎用シミュレータを構築する有望な道筋である」と主張し、絵の具の筆致がキャンバス上に持続する、ハンバーガーを食べた跡が残る、といった例を挙げて、Soraが物理法則や因果関係の一部を暗黙に学習していると論じた。

Google DeepMindのGenieシリーズはこの方向をさらに進め、2024年12月のGenie 2では単一の画像から操作可能な3D環境を生成できることを示し、2025年8月のGenie 3では、テキストプロンプトから毎秒24フレーム・720p解像度でリアルタイムに探索できる、数分間一貫性を保つ持続的な3D世界を生成できるようになった。DeepMindはこれをロボティクスにおけるナビゲーション・知覚・長期推論の学習データをスケーラブルに生成する用途に位置づけており、2026年2月にはWaymoがこの技術を自動運転シミュレーション向けに採用したと報じられている。

Stanford大学のFei-Fei Liが創業したWorld Labsは、2025年11月に商用製品Marbleを発表した。Marbleはテキスト・画像・映像の断片から、持続的でダウンロード可能な3D環境(Gaussian Splatting、メッシュ、映像として書き出し可能)を生成する。2026年6月にLiが公開したエッセイでは、World Modelを機能面からRenderer(人間の目で見るための映像を出力する)・Simulator(幾何学的・物理的に忠実な、プログラムが計算に使える表現を出力する)・Planner(観測と目標から次の行動を出力する)の3categoriesに分類しており、Sora・Genieのような映像生成系はRenderer寄り、ロボット学習用の力学モデルはSimulator寄り、VLAはPlanner寄りに位置づけられる、という整理を示している。

NVIDIA Cosmos: ロボティクス向けWorld Foundation Model

ロボティクス業界側からのアプローチとして存在感を増しているのが、NVIDIAのCosmosシリーズである。2026年6月に発表されたCosmos 3は、視覚推論・世界生成・行動予測を1つのモデルへ統合したmixture-of-transformersアーキテクチャを採用し、テキスト・画像・映像・環境音・行動という複数モダリティを単一の枠組みで扱う。狙いは、実機のロボットアームで何千時間もの試行を重ねる代わりに、タスクを実行するロボットの映像をシミュレーションで大量生成し、そのデータで方策を訓練してから実機へ展開するというデータ生成パイプラインの構築にある。NVIDIAはAgile Robots、Black Forest Labs、Runway、Skild AIなどとCosmos Coalitionを結成し、オープンなWorld Foundation Modelのエコシステム作りを進めている。

生成か非生成か: LeCunのJEPAという対抗軸

Sora・Genie・Cosmosに共通するのは、ピクセル(あるいはそれに近い表現)を直接生成するという設計である。これに対し、Meta AIのチーフAIサイエンティストを務めていたYann LeCunは、この生成的アプローチそのものに懐疑的な立場を取り続けてきた。彼が提唱するJEPA(Joint Embedding Predictive Architecture)は、抽象的な表現空間の中で予測を行い、ピクセルやトークンを生成しないという点で明確に一線を画す設計である。この設計思想に基づくV-JEPA 2は、100万時間規模のインターネット動画で事前学習した後、62時間のロボット操作データでファインチューニングするだけで、ゼロショットのロボット操作タスクで約80%の成功率を達成したと報告されている。LeCunは2026年初頭にMetaを離れ、パリでAMI Labsを設立し、10億ドルを超えるシード資金を調達して汎用World Modelの開発に専念する方針を示しており、「生成モデルはWorld Modelとして袋小路である」という立場を自ら実証する段階に入っている。

生成的アプローチと非生成的(JEPA的)アプローチのどちらが優れているかは、2026年時点でも決着していない。生成モデルは人間が直接目で見て評価できる映像を出力できる強みがあり、JEPA系は抽象表現で予測するぶん計算効率と長期予測の安定性に強みがあるとされるが、双方とも大規模な実運用での決定的な優位性を示すには至っていない。

開いたままの課題: 物理的整合性・長期一貫性・評価

物理的整合性: Soraの生成映像に対しては、重力を無視して物体が浮く、蝋燭の炎が動かない、アリの脚の本数が正しく再現されない、ガラスが割れる際の破片の挙動が不自然といった、物理法則違反の具体例が数多く指摘されている。強力なモデルであっても重力・物体の永続性・因果的整合性で失敗するという分析結果もあり、Sora 2が3次元構造や物理的因果関係について「何か」を学習していることは確かだとしても、それが従来的な意味での物理エンジンと同じではない、というのが現時点での中立的な評価である。

長期一貫性: 数十秒を超える長さで環境の状態を破綻なく維持できるかは、依然として未解決の課題である。2026年に提案されたWorldRoamBenchのような評価ベンチマークは、行動追従性・映像の視覚的な破綻(ドリフト)・物理的な一貫性・過去に訪れた場所やオブジェクトを覚えていられるかという記憶の一貫性の4軸で長時間安定性を評価しており、既存の評価手法の多くが5〜10秒程度の短い区間しか見ていなかったこと自体を問題として指摘している。

評価の難しさ: 「良い世界モデル」を定量的にどう測るかという合意も定まっていない。生成映像の見た目の自然さと、下流のロボット制御タスクでの有用性は必ずしも一致せず、モデルごとに出力の意味的なスケールが異なるため軌跡同士を公平に比較しにくいという問題も指摘されている。

計算コスト: 大規模な世界モデルの評価・学習コストは高く、1回のAPI呼び出しに1ドルを超えるケースもあるとされる。長期タスクを学習・評価するモデルは1つの応答で10万トークン近くを生成することもあり、研究の再現性そのものへの障壁になりつつある。

ロボット学習との接続点

World Modelがロボティクスに直接応用される代表例として、1X Technologiesが自社のヒューマノイドロボットNEO向けに開発した動画World Modelがある(詳細は「ヒューマノイドロボットの技術動向」を参照)。140億パラメータの動画生成モデルが「タスクを完了する短い映像」を想像し、その映像をInverse Dynamics Modelで実際のモーター指令へ変換するという構成は、Renderer(映像生成)をPlanner(行動生成)へ直結させる設計の実例である。

古典的な強化学習の文脈では、モデルベース強化学習(MBRL)がこの概念をより手堅い形で扱ってきた。状態sと行動aから次状態を予測する世界モデル\hat f_\thetaを学び、その中で候補行動列を評価してから実機へ出すという設計、予測誤差の蓄積とDomain Randomizationによる対処、Sim-to-Realの段階的な移行手順については「モデルベース強化学習とSim-to-Real入門」で詳しく扱っている。動画生成モデル型のWorld Modelと、MBRLの潜在力学モデルは、扱う表現の解像度こそ異なるが、「実機で全部試す前に、学習したモデルの中で試す」という核心的な発想は同じである。

現時点の整理

いずれの潮流も「環境の力学を学習によって内部化する」という同じ土台の上に立ちながら、何を出力し、誰(人間か、プログラムか、方策学習ループか)に向けて出力するかで枝分かれしている、というのが2026年時点での実態である。

参考リンク

#World Model #強化学習 #動画生成