VLA(Vision-Language-Action)の技術動向

目次 — 知りたいところから読む

前提と読み方

前提知識 対象技術の基本用語。必要に応じて入門記事を参照してください。

動向 · 出典・対象期間・比較条件を確認しながら読む調査記事です。

Vision-Language-Action(VLA)モデルは、カメラ映像と自然言語による指示を1つのシステムに統合し、ロボットの動作(モーター指令)を直接出力するアーキテクチャである。知覚(認識)と制御(プランニング・実行)を別々のパイプラインとして設計してきた従来のロボティクスに対し、それらを単一のtransformerモデルへ統合するという発想の転換が核心にある。

Vision + Language → Action

主要VLA企業(Physical Intelligence等)の公式ロゴがライセンスフリー素材として見当たらなかったため、視覚・言語・行動の統合を表す簡易アイコンを自作

一枚でつかむVLA

画像・言語指示・ロボット状態を個別にトークンへ変換し、Transformerと行動ヘッドで行動列を生成して、次の画像観測を戻すVLAの閉ループ

図: Duskcoil作成。VLA推論と実世界フィードバックの代表的な関係を単純化している。

VLAは「画像と言葉を読めるモデル」だけではなく、出力を物理的な行動へ接続する閉ループの一部である。画像、指示、関節状態などを共通の表現へ写し、transformerが文脈を統合し、行動ヘッドが一定時間分の行動列へ変換する。実行後の観測が次の入力になるため、モデル精度だけでなく、推論遅延、行動の滑らかさ、異常時に止まる仕組みも実装上の評価軸になる。

系譜: RT-1からRT-2、OpenVLAへ

初期の代表例がGoogleのRT-1で、その後継のRT-2ではWeb規模の視覚・言語データで事前学習された大規模モデルの知識を、ロボット行動の生成に転用する設計へと発展した。オープンソース側では、Open-VLAやOcto、CLIP-RTといったモデルが、cross-modal attention(視覚・言語間の相互注意機構)を用いたtransformerベースのアーキテクチャで追随している。これらのモデルに共通するのは、「見る」「理解する」「動く」を個別のモジュールに分けず、1つのネットワークが入力(映像+指示)から出力(行動)まで一貫して学習する点である。

内部構造: 3つのサブシステム

VLAモデルの計算アーキテクチャは、大きく3つのサブシステムに分けて理解できる。まず視覚エンコーダが、カメラから得た生のピクセルデータを構造化された特徴表現へ変換する。SigLIPやDINOv2といった事前学習済みの画像エンコーダを組み合わせて使うことが多い。次に、抽出された視覚特徴を言語モデルが扱える埋め込み空間へ写像する射影モジュール(多くは多層パーセプトロン)が挟まる。最後に、視覚トークンと言語(指示文)トークンを連結した系列を処理するデコーダ専用のtransformerが、最終的な行動を生成する。

行動をどう出力するか: 2つの設計方針

視覚と言語を統合した後、実際のモーター指令(行動)をどう生成するかには、大きく2つの設計方針がある。

一つは離散的な行動トークンを使う方式で、連続的な行動値(関節角度や速度など)をあらかじめ決めた数の区間(例えば256分割)に離散化し、言語モデルの語彙の中であまり使われていないトークンIDを行動の表現に転用する。画像・言語・行動のすべてを同じ「トークンの並び」として統一的に扱えるのが利点で、観測 $o$ を条件として行動系列 $a_{1:T}$ を自己回帰的に(直前に生成したトークンを踏まえて次のトークンを生成する形で)生成する。

p(a_{1:T} \mid o) = \prod_{t=1}^{T} p(a_t \mid a_{1:t-1}, o)

この定式化は自然言語生成における次単語予測と全く同じ形であり、視覚・言語・行動を「同じ確率モデルで扱う」というVLAの発想の核心を表している。

もう一つは拡散モデル(diffusion)による行動ヘッドを使う方式で、transformer側は視覚・言語情報をまとめた「読み出しトークン」を出力するだけにとどめ、実際の連続的な行動値の生成は拡散モデルに委ねる。離散的な行動トークンは、生成過程が段階的であるためリアルタイム性・滑らかさに欠けることがある一方、拡散モデルベースの行動ヘッドは連続的で滑らかな行動出力を得やすいとされる。Octoのように、画像・言語トークンを単一の系列としてtransformerに通した上で、その出力(読み出しトークン)を条件として拡散モデルによる行動ヘッドへ渡す、という組み合わせ方も広がっている。

この設計の実用上の意味

古典的な制御システムは、想定していなかった状況にはスクリプト通りにしか対応できない。VLAモデルの利点は、明示的に訓練していない条件にも汎化できる可能性がある点にある。倉庫の自動化から手術支援ロボットまで、応用範囲は急速に拡大しており、埋め込みAI(Embodied AI)の中核技術として位置づけられつつある。一方で、大規模な人間のデモンストレーションデータへの依存度が高く、データ収集・学習コストが大きな課題として残っている。

Physical Intelligenceのπ0系列

VLA分野で近年特に注目を集めているのが、4億ドル以上を調達したスタートアップPhysical Intelligenceのπ0(パイ・ゼロ)である。大規模なマルチタスク・マルチロボットのデータ収集と新しいネットワークアーキテクチャを組み合わせ、洗濯物をたたむ、テーブルを片付ける、コーヒー豆をすくうといった多様なタスクをこなす汎用ロボットポリシーとして発表された。Physical Intelligenceはπ0のコードと重みをopenpiリポジトリとしてオープンソース化しており、その後もπ0.5・π0.6・π0.7と改良版が継続的にリリースされている。π0 baseはOpen X-Embodiment(OXE)データセットと同社の7種類のロボットプラットフォームで事前学習されており、ゼロショットでも事前学習データに含まれるタスクであればそのまま使え、ファインチューニングを前提とした汎用モデルとして設計されている。

Physical Intelligenceの最新動向: π0.7とその先

Physical Intelligence自身の公式ブログを追うと、π0系列は2026年に入っても着実に機能を積み増している。2026年3月には、VLAモデルから抽出した「RLトークン」を使って実機操作タスクを高速にオンライン強化学習で洗練させる手法と、10分を超える長時間タスクを扱えるようにする「マルチスケール埋め込み記憶(Multi-Scale Embodied Memory)」による長期・短期記憶の統合が相次いで発表されている。4月に発表されたπ0.7は、汎化性能における「段階的な飛躍」を示す創発的能力を備えた、操作を外部から誘導可能な(steerable)モデルと位置づけられている。単発のデモンストレーション模倣から、記憶・オンライン学習・誘導可能性という、より自律的なロボット運用に近い能力へと開発の重心が移りつつある様子がうかがえる。

LIBEROベンチマークの飽和と高速化競争

VLA研究で標準的に使われるシミュレーションベンチマークLIBEROは、2026年後半には複数の手法が98%台のタスク成功率に達しており、精度面では事実上の飽和状態に近づいている。4Dシーン表現とのアライメントで時間的な文脈理解を強化するTemporal Forcing(2026年8月)はLIBEROで98.8%を記録しつつ、より難しい「隠れた場所への配置」タスクでは成功率を20.0%から43.3%へ引き上げており、標準ベンチマークの飽和を受けて評価の重心がより困難な汎化課題へ移りつつある実態を示している。

精度が横並びに近づいた結果、研究の焦点は推論速度の最適化にも移っている。従来の多段階な拡散過程を1回のフォワードパスに置き換えるDriftingVLA(2026年8月)は、LIBEROで98.32%の成功率を維持しながら、反復的な生成手法と比べて行動チャンク生成が3.36倍高速化したと報告している。学習済みモデルを再学習せずに高速化するAdaVLA(2026年8月、IROS 2026)は、フローマッチングの軌道の曲率から生成の確信度を推定する指標を導入し、π0.5で1.87倍・X-VLAで2.24倍の高速化を、追加学習なしで達成している。長時間タスクでの滑らかな動作生成を狙うSMILE(2026年8月)も、B-スプライン係数を予測する設計でLIBEROの成功率98.0%を維持しつつ1.1倍の高速化を報告しており、「精度を落とさず速くする」という方向性が2026年後半のVLA研究の主要な軸の一つになっている。

2026年の広がり

2026年に入ってからも、VLA関連の研究は活発に発表され続けている。行動多様体学習を組み込んだABot-M0、身体化エージェントAIのための統合基盤モデルACE-Brain-0.5、世界モデルと行動を統合したKairosなど、単なる「見て動く」を超えて、物理世界のモデル化・記憶・行動の統合を目指す研究が広がっている。VLAという概念そのものが、ロボット単体の技術から、より広い「Physical AI」という枠組みの中核要素として位置づけ直されつつある段階にある。

評価と実機運用の境界

VLAのベンチマーク結果は、学習に使ったロボット、カメラ配置、指示文、成功判定、リセット方法をそろえた条件での比較値である。ベンチマークの成功率を別の車体や作業環境の安全性へ読み替えることはできない。実機へ導入する場合は、行動出力を速度・加速度・関節可動域の制限器へ通し、通信断・推論タイムアウト・センサー異常を検出したときに停止する監督層を別に置く必要がある。

VLAが生成する行動チャンクは、観測を取得した時点の推定に基づく予測である。チャンクの途中で人や物体が移動した場合、次の観測を待たずに全区間を実行すれば、古い認識に基づく指令が残る。短いチャンクを高頻度で再計画する方法は反応性を高めるが、推論負荷と通信遅延を増やす。長いチャンクは計算効率を上げやすい一方、遮蔽や接触の変化に対する追従が遅れる。このトレードオフは成功率だけでなく、停止距離・再計画周期・失敗からの復帰率で評価する。

さらに、学習データの分布と実機の条件が異なると、見慣れない照明、材質、関節の摩擦、カメラの遅延が行動の誤差として現れる。評価時には、既知の作業を繰り返すだけでなく、物体の位置を変えた試験、指示の言い換え、遮蔽からの復帰、通信を意図的に遅らせる試験を分けて記録する。失敗したときにモデルを再試行させるだけでは原因を切り分けられないため、入力画像、指示、生成した行動、監督層による制限、停止理由を同じ時刻基準で保存する。こうした記録があれば、モデルの認識誤りと機械・通信系の不具合を区別しやすくなり、更新後の再評価にも同じ手順を使える。

運用の判定も段階に分ける。シミュレーションで成立したこと、実験室で停止条件が働いたこと、限定された環境で作業を完了したことは、それぞれ別の証拠である。屋外や人と共存する場所へ進む前には、未知物体・照明変化・電源低下・ネットワーク断を含む試験を行い、モデルを信頼する範囲と、従来の制御器へ切り替える条件を文書化する。この境界を明示することで、VLAの柔軟性を活かしながら、制御系の検証可能性を失わずに済む。

実験記録には、モデル名と重みの版、入力画像の解像度、推論に要した時間、制御周期、行動の保持時間を残す。これらが欠けると、同じモデルを再実行しても結果を比較できない。特に「成功」は、物体を目的位置へ置けたのか、接触を避けられたのか、制限器が介入した後に完了したのかで意味が変わる。成功条件と中断条件を先に定義し、モデルが自分で出した結果と、外部の監督層が許可した結果を分けて集計する。研究の数値を運用の判断材料にするには、測定条件と未測定の範囲を同じ表に書くことが欠かせない。

日常運用では、モデルの更新だけでなく、カメラの交換や照明の変更も挙動を変える。入力分布の変化を検知するため、推論結果の信頼度、行動の大きさ、監督層の介入回数を継続して記録する。異常値が続くときは自動で再試行を重ねず、低速モードや手動操作へ移行する方が原因を調べやすい。VLAを単独の万能な制御器として扱わず、観測・推論・制限・停止を分けたシステムの一部として評価することが、再現性と安全性の両方につながる。

理解を確かめる

言語の指示を理解したように見えれば動作も安全？

行動の出力範囲、実行条件、失敗検出、停止手段が別に必要になる。言語応答の自然さと実機での成功を区別する。

参考リンク

現在の項目 · 9 / 10 · 技術動向

次に読む

前提を確認するWorld Modelの技術動向シリーズの次の内容へ進むヒューマノイドロボットの技術動向同じ分野を別の観点から読むナビゲーションの技術動向

#VLA #ロボティクス #埋め込みAI