Physical AIに「目」を与える ― ロボットとドローンのためのストリーミング映像理解モデル VLX-Flow
Black AI エンジニア有志
執筆チーム / Black AI株式会社
Black AIのエンジニア有志による技術調査・検証レポートを公開しています。Physical AI・ロボティクス・エッジAI領域の最新動向をウォッチしています。
Physical AIには「リアルタイムの目」が足りない
2025年から2026年にかけて、ロボティクスとPhysical AIへの投資が急激に加速しています。NVIDIAはJetson Thorやロボット向けFoundation Modelを次々と発表し、Google DeepMindのRT-2は55Bのマルチモーダルモデルをロボット制御に直結させました。中国ではロボティクスVC投資が2025年に410億ドルに達し、AGIBOT、Unitree、Fourier Intelligenceなどが急成長中です。
しかし、ここで見落とされがちな問題があります。
ロボットやドローンが物理世界で動くには、カメラ映像をリアルタイムに理解し続ける「目」が不可欠です。人間が歩きながら周囲を見て判断するように、Physical AIにも「今まさに何が起きているか」を常に把握する視覚能力が必要です。
ところが、今のマルチモーダルAI（GPT-4o、Gemini、Qwen2-VLなど）は基本的に録画済みの動画ファイルを後から分析する設計になっています。ロボットのカメラから途切れなく流れてくるストリーム映像には対応していません。
この問題に正面から取り組んだのが、中国のスタートアップ Om AI が2026年6月に発表した VLXシリーズ です。映像のリアルタイム理解、物体の位置特定、行動計画の3層でPhysical AIの視覚パイプラインを構成するモデル群で、その基盤となるのがVLX-Flowです。
この記事でわかること
- Physical AIが求める視覚能力と、今のVideo VLMでは足りない理由
- VLX-Flowが実現するストリーミング映像理解の仕組み
- エッジ推論を支えるLinear Attentionの技術
- VLXシリーズ3層構成と、ロボット・ドローンへの応用
Physical AIやマルチモーダルモデルに詳しくなくても読めるように書いています。
Physical AIの「目」に何が必要か
ロボットの視覚とクラウドAIの違い
ChatGPTやClaudeに画像を貼り付けて質問する体験はエンジニアにとって馴染みのあるものです。最近はGPT-4oやGeminiが動画も扱えるようになりました。
ただし、これらのモデルは動画が「ファイル」として完成している前提で動いています。
- 動画ファイルをアップロードする
- モデルがフレームを抽出して内容を把握する
- 質問に回答する
これはクラウド上の動画Q&Aとしては十分ですが、Physical AIが必要とする視覚はまったく違います。
- 倉庫ロボットのカメラは作業中ずっと映像を送り続ける
- 点検ドローンは飛行しながら地上を撮影し続ける
- 工場の監視システムは24時間途切れなく稼働する
これらの映像は「ファイル」ではなくストリームです。終わりがなく、ずっと流れ続けます。Physical AIに求められるのは「録画を後から分析すること」ではなく、今まさに起きていることをリアルタイムで理解することです。
既存の動画理解AIが対応できない理由
動画理解AI（Video VLM）がストリーム映像を処理できない理由は、大きく2つあります。
全フレームを入力する方式は、フレーム数が増えるほど計算量とメモリが膨らみます。数分の動画でも処理が重くなり、ロボットが数時間動き続ける映像には実質的に対応できません。
一定間隔でサンプリングする方式は、サンプリングの間に起きた出来事を見逃します。たとえば2秒ごとに1フレーム取得する場合、その間にロボットの前を人が横切っても検知できません。
どちらも動画は事前に録画されたファイルであるという前提で設計されています。カメラから途切れなく流れてくるストリーム映像は想定外なのです。
VLX-Flowのアプローチ：「少しずつ見て、覚えておく」
VLX-Flowの基本的な発想はシンプルです。映像を短いチャンクに区切って、1つずつ処理しながら内部状態を更新していく。
ロボットが歩きながら周囲を見ているのと同じで、「過去の映像全部を毎回見返す」のではなく、「見たものを記憶しながら、新しい情報だけを追加で処理する」アプローチです。
具体的には、3つの技術的な工夫があります。
工夫1：チャンク単位のインクリメンタル処理
映像を数秒ごとのチャンクに分割し、新しいチャンクが来るたびにVision Encoderで視覚トークンに変換します。LLMは前回までの内部状態を引き継いで、差分だけを更新します。
過去の映像全体を毎回読み直す必要がないため、処理時間が映像の長さに比例して増えません。
たとえば、ロボットの前を人が通り過ぎて荷物を棚に置くシーンを考えてみてください。サンプリング方式だと「人が歩いている」と「荷物が棚にある」しか見えないかもしれませんが、VLX-Flowは一連の動きを内部状態として追跡し続けます。
工夫2：2層メモリ
ロボットが何時間も稼働し続けると、すべてのフレーム情報を保持するのは現実的ではありません。VLX-Flowはメモリを2層に分けてこの問題に対処しています。
Visual Cache（映像キャッシュ）は、直近数秒〜数十秒の映像ディテールを保持するバッファです。ロボットが「今まさに見ている」情報がここにあります。目の前の障害物、人の動き、物の配置といった情報です。
Semantic Memory（意味メモリ）は、より長期的な文脈を保持するレイヤーです。「さっき何が起きたか」「前に何を指示されたか」などの情報が圧縮されて格納されます。
人間の視覚に例えれば、Visual Cacheは「今見ている景色」、Semantic Memoryは「これまでの記憶」に近いイメージです。私たちも1時間前に見た風景を全フレーム思い出せるわけではなく、要約された記憶として持っていますよね。
工夫3：Linear Attention ― エッジで動くための必須技術
ここがPhysical AIにとって最も重要なポイントです。
通常のTransformerが使うSelf-Attentionは、入力の長さNに対して計算量がO(N²)で増加します。テキストLLMならコンテキスト長はせいぜい数万〜数十万トークンですが、ロボットのカメラ映像では入力が際限なく伸び続けるため、O(N²)では遅かれ早かれ破綻します。
しかも、Physical AIはJetsonやQualcommのようなエッジデバイスで動く必要があります。クラウドのH100を前提にはできません。計算量の爆発は致命的です。
Linear Attentionは、Attentionの計算を再帰的な状態更新に置き換えることでこの問題を解決します。
Standard Attention: 過去すべてのトークンとの関連を毎回計算 → O(N²)
Linear Attention: 固定サイズの「状態ベクトル」を毎回更新するだけ → O(1)/ステップ
イメージとしては、Self-Attentionは「今日の巡回記録を全部読み返す」のに対し、Linear Attentionは「要点だけ更新される引き継ぎメモを参照する」ような違いです。過去の情報は状態ベクトルに圧縮されて保持されるため、ロボットが何時間動き続けても追加の計算コストが一定で済みます。
Linear Attentionの考え方自体は新しくなく、Katharopoulos et al. (2020) の「Transformers are RNNs」という論文が出発点です。その後、RetNet、Mamba（SSM）、RWKV、GLA（Gated Linear Attention）など多くのバリエーションが登場しました。VLX-Flowがこれらの研究をPhysical AIの映像ストリーミングに応用した形です。
実際どれくらい速いのか
ここで実測データを見てみましょう。下のグラフは、入力画像数が増えたときの TTFT（Time To First Token = 最初の応答が返るまでの時間）を比較したものです。
- Full Attention （オレンジ）：画像数が増えるほど線形に遅くなる。200枚で4秒以上
- Sliding Window （緑）：ウィンドウのリセットで一時的に速くなるが、全体的には増加傾向
- VLX-Flow （赤）：200枚入力しても約0.2秒で一定
これがPhysical AIにとってなぜ重要か。監視カメラが30fpsで動いていたら、1時間で約10万フレームです。Full Attentionでは応答に何十秒もかかるようになりますが、VLX-Flowならずっと同じ速度で応答できます。ロボットの制御ループでは、この「応答時間が一定」という特性が安全性の面で非常に重要です。
公式の発表によると、1フレームあたりの処理時間は 約0.06秒（約16FPS相当）とのことです。
訓練の工夫：「見て覚えて、後で聞かれる」
VLX-Flowのもう一つの面白いポイントは訓練方法です。
通常の動画理解AIは、「動画+質問」をセットで渡して訓練します。モデルは動画全体を見ながら質問に答えればOKです。
VLX-Flowの訓練はこれを2つのフェーズに分離しています。
フェーズ1：観察 （Stream Memory）
たとえば16秒の動画を2秒ごとのチャンクに分割し、各チャンクに対して「人が部屋に入った」「荷物を手に取った」「歩き始めた」……のような短い説明を付けます。モデルはこの説明を順番に読みながら内部の記憶（Stream Memory）を構築します。
この段階では質問は一切ありません。ただ見て、覚えるだけです。
フェーズ2：回答
10秒〜1分ほど時間が経ってから、「さっき誰が荷物を置いた？」のような質問が出されます。モデルはフェーズ1で蓄積した記憶だけを使って回答しなければなりません。元の映像を見返すことはできません。
この設計がPhysical AIに効く理由は明確です。ロボットやドローンはいつ何を聞かれるかわからない状態で、常に周囲を観察し続ける必要があります。「前方に障害物があるか？」と聞かれるかもしれないし、「さっきすれ違った人はどこに行った？」と聞かれるかもしれない。あるいは異常を検知したら自動でアラートを出す必要もあります。
Stream Memoryの訓練は、こうしたいつ聞かれても答えられる状態を常に維持する能力を獲得するためのものです。
VLXシリーズの全体像：Physical AIの視覚パイプライン
VLX-Flowは単体で完結するモデルではなく、Physical AIの視覚パイプラインを構成する3層の第1層として設計されています。
VLX-Flow （Semantic Layer）は、映像を意味レベルで理解する層。「何が起きているか」を把握し、記憶を維持します。ここまでの記事で解説してきた内容です。
VLX-Seek （Geometry Layer、3B）は、物体の位置を特定する層。「それはどこにあるか」を答えます。Region Tokensという方式で領域を表現し、Open-Vocabulary（事前に定義していない物体も検出可能）な物体検出やトラッキングに対応します。ロボットが「あの赤い箱を取って」と指示されたとき、「赤い箱」がどこにあるかを特定するのがこの層です。
VLX-Go （Planner Layer、0.6B）は、行動を計画する層。映像と言語指示をもとに「次にどこに移動するか」のウェイポイントを生成します。0.6Bと非常に小さいのは、ロボットやドローンの制御ループ（15〜30Hz）で実際に動かすためです。
この3層を組み合わせると、映像を理解する → 対象を見つける → 行動するというPhysical AIの閉ループが完成します。
用途によって組み合わせを変えられるのも設計上のメリットです。
- 監視・モニタリング：VLX-Flowだけで映像理解 + アラート
- 検査・点検ドローン：VLX-Flow + VLX-Seekで映像理解 + 対象検出
- 自律移動ロボット：VLX-Flow + VLX-Seek + VLX-Goで理解 + 検出 + 行動計画
Om AIとは何者か
VLXシリーズを発表した Om AI（联汇科技）は、杭州に拠点を置く中国のAIスタートアップです。CMU出身の趙天成氏がCEOを務め、吴文俊AI科学技術進歩賞の受賞歴があります。
GitHubアカウント（om-ai-lab）ではいくつかの注目プロジェクトを公開しています。
- VLM-R1 （6,000+ Stars）：強化学習（GRPO）で視覚言語モデルを訓練する手法
- OmAgent （2,700+ Stars、EMNLP 2024）：マルチモーダルエージェントフレームワーク
- OmChat：512Kコンテキスト対応のマルチモーダルLLM
OmChat（2024年半ば）→ VLM-R1（2024年後半）→ VLM-FO1（2025年）→ VLXシリーズ（2026年）と、クラウド向けマルチモーダルモデルからエッジ向けPhysical AIモデルへと段階的にフォーカスを移してきた経緯があります。
なお、現時点ではVLX-FlowのarXiv論文は未公開です。アーキテクチャの詳細はプレス発表とGitHubリポジトリからの情報に基づいています。
Physical AIの視覚はどこに向かうのか
VLX-Flowの登場は、2つの大きなトレンドの交差点にあります。
モデルの小型化：クラウドからエッジへ
GoogleのRT-2（55B）やNVIDIAのGR00T（数十B規模）はクラウド前提の巨大モデルです。一方、実際にロボットやドローンに載せるにはJetson OrinやQualcomm Dragonwingのようなエッジデバイスで動く必要があり、3B以下が現実的です。
VLX-Seekの3B、VLX-Goの0.6Bという設計はこの制約を明確に意識しています。Physical AIの「目」は、軽くなければ使えません。
ストリーミング対応：バッチ処理からリアルタイムへ
CVPR 2026ではマルチモーダル関連論文の採択比率が4.9%→10.6%に倍増し、特に「Streaming」と「Grounding」がホットテーマです。
ストリーミング対応のVideo VLMはVLX-Flow以外にも登場し始めています。StreamingVLMはH100上で8FPSのリアルタイム対話を実現し、V-RexはKV Cacheの動的管理でエッジ上3.9〜8.3FPSを達成しています。
ただし、これらの多くは通常のSoftmax Attentionのまま、KV Cacheの管理で工夫しているのに対し、VLX-Flowはアーキテクチャ自体をLinear Attentionに変えている点で一線を画しています。
まとめ：何が新しくて、何はまだわからないのか
VLXシリーズが新しい点：
- Physical AIの視覚パイプラインを「映像理解 → 物体検出 → 行動計画」の3層で構成
- VLX-FlowがLinear Attentionを採用し、映像がどれだけ長くなっても応答速度が一定
- 2層メモリ（直近の映像キャッシュ + 長期的な意味メモリ）で効率的にコンテキストを維持
- Stream Memoryの訓練で「いつ聞かれても答えられる」視覚能力を獲得
- 3B / 0.6Bの小型モデルでエッジデバイスへのデプロイを意識した設計
まだわからない点：
- arXiv論文が未公開のため、アーキテクチャの細部は不明
- StreamingBenchやVideoMMEなど標準ベンチマークでの定量的な精度比較
- Jetson OrinやQualcomm Dragonwingなど実際のエッジデバイス上の性能
- 3層モデルを同時に動かしたときのリソース消費
Physical AIの「目」は、工場の異常検知、施設のモニタリング、インフラ点検ドローン、自律移動ロボットなど、日本でもニーズの高い分野の基盤技術です。VLXシリーズの続報に引き続き注目していきます。
関連リンク：
関連記事
注文書ピッキングロボットの VLA 設計 ― SmolVLA で同じ部品が並ぶ環境をどうピッキングするか
SmolVLA をベースに、同じ部品が何本も並ぶ環境で注文書ピッキングを安定させる方法。VLA が解く問題を小さく絞る設計、Leader-Follower でのデータ収集、smolvla_base のファインチューニング、非同期推論と Temporal Ensemble、失敗をレイヤー別に分類して回す改善ループまでを解説します（後編）。
手書きの注文書から、ロボットのピッキングへ ― WorkPeer と Robot Gateway の役割分担
紙の注文書を撮るとロボットが部品を箱詰めする。その裏側で本当に難しいのは「読み取った内容を動作に変える」部分です。注文の意味を理解する WorkPeer と物理動作を担う Robot Gateway を Order Contract でつなぐ設計、SO-101 までの制御パス、OpenAPI / MCP / A2A / ROS 2 の使い分けを解説します（前編）。
潜在空間の世界モデルは、ロボット学習の何を変えるのか ― 無界動力 MWA を関連論文から読み解く
設立1年のスタートアップ無界動力が発表した潜在空間の世界モデル MWA。その背後にある「ピクセルを捨てる・動作ラベルを捨てる・成功例だけで固めない」という設計思想を、LAPA・DINO-WM・GR00T といった関連論文まで遡って整理します。