VLA(Vision-Language-Action)の技術動向

Vision-Language-Action(VLA)モデルは、カメラ映像と自然言語による指示を1つのシステムに統合し、ロボットの動作(モーター指令)を直接出力するアーキテクチャである。知覚(認識)と制御(プランニング・実行)を別々のパイプラインとして設計してきた従来のロボティクスに対し、それらを単一のtransformerモデルへ統合するという発想の転換が核心にある。

Vision + Language → Action

主要VLA企業(Physical Intelligence等)の公式ロゴがライセンスフリー素材として見当たらなかったため、視覚・言語・行動の統合を表す簡易アイコンを自作

系譜: RT-1からRT-2、OpenVLAへ

初期の代表例がGoogleのRT-1で、その後継のRT-2ではWeb規模の視覚・言語データで事前学習された大規模モデルの知識を、ロボット行動の生成に転用する設計へと発展した。オープンソース側では、Open-VLAやOcto、CLIP-RTといったモデルが、cross-modal attention(視覚・言語間の相互注意機構)を用いたtransformerベースのアーキテクチャで追随している。これらのモデルに共通するのは、「見る」「理解する」「動く」を個別のモジュールに分けず、1つのネットワークが入力(映像+指示)から出力(行動)まで一貫して学習する点である。

内部構造: 3つのサブシステム

VLAモデルの計算アーキテクチャは、大きく3つのサブシステムに分けて理解できる。まず視覚エンコーダが、カメラから得た生のピクセルデータを構造化された特徴表現へ変換する。SigLIPやDINOv2といった事前学習済みの画像エンコーダを組み合わせて使うことが多い。次に、抽出された視覚特徴を言語モデルが扱える埋め込み空間へ写像する射影モジュール(多くは多層パーセプトロン)が挟まる。最後に、視覚トークンと言語(指示文)トークンを連結した系列を処理するデコーダ専用のtransformerが、最終的な行動を生成する。

行動をどう出力するか: 2つの設計方針

視覚と言語を統合した後、実際のモーター指令(行動)をどう生成するかには、大きく2つの設計方針がある。

一つは離散的な行動トークンを使う方式で、連続的な行動値(関節角度や速度など)をあらかじめ決めた数の区間(例えば256分割)に離散化し、言語モデルの語彙の中であまり使われていないトークンIDを行動の表現に転用する。画像・言語・行動のすべてを同じ「トークンの並び」として統一的に扱えるのが利点で、観測 $o$ を条件として行動系列 $a_{1:T}$ を自己回帰的に(直前に生成したトークンを踏まえて次のトークンを生成する形で)生成する。

p(a_{1:T} \mid o) = \prod_{t=1}^{T} p(a_t \mid a_{<t}, o)

この定式化は自然言語生成における次単語予測と全く同じ形であり、視覚・言語・行動を「同じ確率モデルで扱う」というVLAの発想の核心を表している。

もう一つは拡散モデル(diffusion)による行動ヘッドを使う方式で、transformer側は視覚・言語情報をまとめた「読み出しトークン」を出力するだけにとどめ、実際の連続的な行動値の生成は拡散モデルに委ねる。離散的な行動トークンは、生成過程が段階的であるためリアルタイム性・滑らかさに欠けることがある一方、拡散モデルベースの行動ヘッドは連続的で滑らかな行動出力を得やすいとされる。Octoのように、画像・言語トークンを単一の系列としてtransformerに通した上で、その出力(読み出しトークン)を条件として拡散モデルによる行動ヘッドへ渡す、という組み合わせ方も広がっている。

この設計の実用上の意味

古典的な制御システムは、想定していなかった状況にはスクリプト通りにしか対応できない。VLAモデルの利点は、明示的に訓練していない条件にも汎化できる可能性がある点にある。倉庫の自動化から手術支援ロボットまで、応用範囲は急速に拡大しており、埋め込みAI(Embodied AI)の中核技術として位置づけられつつある。一方で、大規模な人間のデモンストレーションデータへの依存度が高く、データ収集・学習コストが大きな課題として残っている。

Physical Intelligenceのπ0系列

VLA分野で近年特に注目を集めているのが、4億ドル以上を調達したスタートアップPhysical Intelligenceのπ0(パイ・ゼロ)である。大規模なマルチタスク・マルチロボットのデータ収集と新しいネットワークアーキテクチャを組み合わせ、洗濯物をたたむ、テーブルを片付ける、コーヒー豆をすくうといった多様なタスクをこなす汎用ロボットポリシーとして発表された。Physical Intelligenceはπ0のコードと重みをopenpiリポジトリとしてオープンソース化しており、その後もπ0.5・π0.6・π0.7と改良版が継続的にリリースされている。π0 baseはOpen X-Embodiment(OXE)データセットと同社の7種類のロボットプラットフォームで事前学習されており、ゼロショットでも事前学習データに含まれるタスクであればそのまま使え、ファインチューニングを前提とした汎用モデルとして設計されている。

Physical Intelligenceの最新動向: π0.7とその先

Physical Intelligence自身の公式ブログを追うと、π0系列は2026年に入っても着実に機能を積み増している。2026年3月には、VLAモデルから抽出した「RLトークン」を使って実機操作タスクを高速にオンライン強化学習で洗練させる手法と、10分を超える長時間タスクを扱えるようにする「マルチスケール埋め込み記憶(Multi-Scale Embodied Memory)」による長期・短期記憶の統合が相次いで発表されている。4月に発表されたπ0.7は、汎化性能における「段階的な飛躍」を示す創発的能力を備えた、操作を外部から誘導可能な(steerable)モデルと位置づけられている。単発のデモンストレーション模倣から、記憶・オンライン学習・誘導可能性という、より自律的なロボット運用に近い能力へと開発の重心が移りつつある様子がうかがえる。

LIBEROベンチマークの飽和と高速化競争

VLA研究で標準的に使われるシミュレーションベンチマークLIBEROは、2026年後半には複数の手法が98%台のタスク成功率に達しており、精度面では事実上の飽和状態に近づいている。4Dシーン表現とのアライメントで時間的な文脈理解を強化するTemporal Forcing(2026年8月)はLIBEROで98.8%を記録しつつ、より難しい「隠れた場所への配置」タスクでは成功率を20.0%から43.3%へ引き上げており、標準ベンチマークの飽和を受けて評価の重心がより困難な汎化課題へ移りつつある実態を示している。

精度が横並びに近づいた結果、研究の焦点は推論速度の最適化にも移っている。従来の多段階な拡散過程を1回のフォワードパスに置き換えるDriftingVLA(2026年8月)は、LIBEROで98.32%の成功率を維持しながら、反復的な生成手法と比べて行動チャンク生成が3.36倍高速化したと報告している。学習済みモデルを再学習せずに高速化するAdaVLA(2026年8月、IROS 2026)は、フローマッチングの軌道の曲率から生成の確信度を推定する指標を導入し、π0.5で1.87倍・X-VLAで2.24倍の高速化を、追加学習なしで達成している。長時間タスクでの滑らかな動作生成を狙うSMILE(2026年8月)も、B-スプライン係数を予測する設計でLIBEROの成功率98.0%を維持しつつ1.1倍の高速化を報告しており、「精度を落とさず速くする」という方向性が2026年後半のVLA研究の主要な軸の一つになっている。

2026年の広がり

2026年に入ってからも、VLA関連の研究は活発に発表され続けている。行動多様体学習を組み込んだABot-M0、身体化エージェントAIのための統合基盤モデルACE-Brain-0.5、世界モデルと行動を統合したKairosなど、単なる「見て動く」を超えて、物理世界のモデル化・記憶・行動の統合を目指す研究が広がっている。VLAという概念そのものが、ロボット単体の技術から、より広い「Physical AI」という枠組みの中核要素として位置づけ直されつつある段階にある。

newbotとの接続点

newbotは現時点でVLAモデルを採用しておらず、Nav2による古典的な経路計画とセンサーベースの障害物ガードで自律走行を実現している(詳細は「地図生成と自律ナビゲーションの仕組み」を参照)。ただしVLA分野の急速な進展は、将来的に「地図上の座標を指定する」のではなく「自然言語で指示する」ナビゲーションへの発展余地を示唆している。

参考リンク

#VLA #ロボティクス #埋め込みAI