AI推論専用アクセラレータは、学習済みニューラルネットワークの「推論」(順伝播計算のみ)を、CPU/GPUよりはるかに高いエネルギー効率で実行するために設計された専用チップである。核心にある物理的な原理は単純で、32ビット浮動小数点(FP32)で学習した重みを8ビット整数(INT8)などの低精度表現に変換(量子化)することで、同じ演算器・同じメモリ帯域でより多くの並列演算をこなせるようにする、という一点に尽きる。本記事はSBC(単一基板コンピュータ)そのものの比較ではなく、Google Coral(Edge TPU)、Intel Movidius(Myriad X)、NVIDIA Jetson Orin NXという、推論だけに特化したアクセラレータチップの設計思想と量子化の原理そのものに焦点を絞る。

Google Coral Dev Board MicroのPCB基板を上から撮影した写真Google Coral Dev Board Micro
NVIDIA Jetson Orin Nanoを内蔵したAIアシスタント機器ClawBoxの外観NVIDIA Jetson Orin Nano内蔵の「ClawBox」(2026年、ID Robots製)

画像: Hardware PXL 20231201 152957218 (53388218926)(Thomas Amberg, CC BY-SA 2.0)/ ClawBox AI assistant device (2026) - front(Kkralev, CC BY-SA 4.0)、いずれもWikimedia Commons。

原理: INT8量子化とは何をしているのか

FP32の重み・活性化値を8ビット整数に落とし込む最も一般的な手法は、線形(アフィン)量子化と呼ばれる。実数値 x を整数値 q に変換する式は次の通りである。

q = \mathrm{round}\left(\frac{x}{s}\right) + z,\qquad s = \frac{x_{max}-x_{min}}{2^{b}-1}

ここで s はスケール(1段階あたりの実数幅)、z はゼロ点(実数のゼロが整数のどの段階に対応するかを表すオフセット)、b はビット幅(INT8なら8)である。推論時には逆に x \approx s(q-z) で近似的な実数値に戻しながら演算する。この量子化が持つ意味は、値の分布をどれだけ狭い範囲に絞り込めるかが、そのまま精度の劣化幅を決めるという点にある。同じ256段階(INT8)であっても、値域が狭ければ1段階あたりの幅(量子化誤差)は小さく済み、外れ値を含んで値域が広がれば同じ256段階が間引かれ、大部分を占める典型的な値の表現が粗くなる。

FP32の値域が狭い場合と外れ値を含んで広い場合とで、同じ256段階のINT8に量子化したときのステップ幅の違いを比較する図

図: Duskcoil。値域を実測データで絞り込む「キャリブレーション」の有無が、同じビット幅でも量子化誤差を大きく左右することを示す概念図。

この値域をどう決めるかという工程がキャリブレーションで、量子化には大きく2つの流儀がある。訓練後量子化(Post-Training Quantization, PTQ)は、学習済みのFP32モデルに少量の代表データを流し、各層の出力の実測範囲からスケール s を算出するだけで済む手軽さが利点だが、外れ値が多いモデルでは精度低下が大きくなりやすい。量子化を考慮した学習(Quantization-Aware Training, QAT)は、学習時点から量子化による丸め誤差をシミュレートしながら重みを更新するため精度劣化を抑えられるが、再学習のコストがかかる。Edge TPU Compiler・TensorRT・OpenVINOのいずれも両方式に対応するが、エッジ推論チップの多くはINT8を前提にカタログ性能(TOPS)を出しているため、PTQで十分な精度が出ない場合はQATへの切り替えが実務上の分岐点になる。

また、Movidius Myriad Xのように2017年前後に設計されたVPU(Vision Processing Unit)は、INT8ではなくFP16(半精度浮動小数点)を主要な演算精度として使う設計だった。FP16はFP32に対してメモリ使用量・帯域要求を半分に減らしつつ、INT8のような値域のキャリブレーションを必要としない(指数部を持つため広いダイナミックレンジをそのまま表現できる)という利点があり、量子化の手間なしに一定の高速化を得られる。ただしINT8ほどの並列度は稼げず、後発のCoral Edge TPUやJetsonのTensorコアがINT8前提の専用データパスで数倍のTOPS/Wを叩き出す一因になっている。

原理: グラフコンパイラという「もう一つの推論高速化」

量子化と並んで実効性能を左右するのが、学習済みモデルをチップ固有の命令列へ変換するグラフコンパイラの存在である。TensorFlow LiteやONNXで書き出されたモデルは、そのままではCPU上でレイヤーごとに逐次実行される汎用グラフに過ぎない。各ベンダーのコンパイラは、このグラフに対して主に3種類の最適化を行う。

  1. オペレータ融合(Operator Fusion): Convolution→BatchNorm→ReLUのような連続する演算を1つの融合カーネルにまとめ、中間結果をメモリに書き戻さずレジスタ上で完結させることで、メモリアクセス回数を削減する。
  2. レイアウト変換: CPUが好むNCHW(チャネル優先)配置と、ベクトル演算器が好むNHWC(チャネル最終)配置を、ハードウェアの実際のメモリアクセスパターンに合わせて選び直す。
  3. 固定グラフへのコンパイル: Coral Edge TPU Compilerのように、動的形状や未対応オペレータを一切許さず、対応済みオペレータのみで構成された完全固定のグラフだけを受け付ける設計を取るコンパイラもある。この場合、モデル中に1つでも非対応オペレータがあると、その前後でCPUとEdge TPUの間の実行が分断され、双方向のデータ転送コストが発生して速度が大きく落ち込む。

NVIDIAのTensorRTとIntelのOpenVINOは、非対応オペレータをCPU実行にフォールバックさせながら残りをアクセラレータに振り分ける、より柔軟な「部分オフロード」を許容する設計であるのに対し、Coral Edge TPU Compilerは全対応グラフか非対応かの二択に近い厳格さを持つ。この違いはSBCの比較記事で扱ったTOPS/メモリ帯域のようなハードウェア指標には現れない、ソフトウェアスタック側の設計思想の差であり、実際のモデル移植コストを大きく左右する。

主要チップ比較: Coral・Movidius・Jetson

製品 演算精度 AI性能 消費電力 インターフェース 価格
Google Coral Edge TPU(USB Accelerator) INT8のみ 4 TOPS(2 TOPS/W) 2W USB 3.0 約75〜99ドル(2019年発売時)
Intel Movidius Myriad X(Neural Compute Stick 2) 主にFP16 約4 TOPS相当(公称値は非公開) 約1.5〜2.5W USB 3.0 約79〜99ドル(2018年発売、現在は販売終了)
Hailo-8(M.2) INT8 26 TOPS(10.4 TOPS/W) 約2.5W M.2/PCIe 約110ドル
NVIDIA Jetson Orin Nano Super INT8 67 TOPS(MAXN Superモード) 7〜25W SoM(基板一体型) 249ドル
NVIDIA Jetson Orin NX(16GB) INT8 100 TOPS 10〜25W SoM(基板一体型) 599ドル

Intel Movidius Myriad Xの公式スペックページは正確なTOPS値を明記していないが、複数のレビューが「合計で毎秒4兆回を超える演算」相当と紹介しており、Myriad 2(100〜150 GFLOPS)に対しMyriad Xは10倍以上高速だとIntel自身が発表している。16基のプログラマブルなSHAVEベクトルプロセッサコアと、Myriad Xで初めて搭載された専用のNeural Compute Engineの組み合わせで、720p×6カメラ(ステレオ3対分)を毎秒60フレームで同時処理できる設計になっている。Hailo-8とJetson Orin Nano Super/NXの詳細はSBC比較記事で扱った内容と重複するため、ここでは表への記載にとどめる。

Coral製品ラインには、上表のUSB Acceleratorより後発のDev Board Microという派生製品もある。これはLinuxが動く応用プロセッサではなく、常時起動・低消費電力なマイコン(MCU)クラスのボードにEdge TPUコプロセッサを載せた製品で、バッテリー駆動のTinyML用途(常時音声・振動検知など)を主眼に設計されている。汎用SoC+外付けEdge TPUという構成のDev Board/USB Acceleratorに対し、Dev Board Microは「常時オンの検知トリガー」という別の使い方を狙った製品と位置づけられる。

歴史: Movidiusの買収から生まれたVPUという設計思想

Movidiusは、コンピュータビジョン処理に特化した低消費電力チップを設計するサンマテオ拠点のスタートアップで、2016年9月にIntelに買収された。買収前から手がけていたMyriad 2 VPU(Vision Processing Unit)は、汎用CPU的な設計を持たず、専用のコンピュータビジョン用ハードウェアブロックと、12基の独自設計ベクトルプロセッサコア(SHAVE)を組み合わせた構成を特徴とし、買収後もGoogleのライフログカメラ「Clips」、FLIRのサーモグラフィカメラ「Firefly」、DJIのドローン「Phantom 4」、Tencentの「DeepGaze」といった量産製品に採用された。2017年に後継のMyriad Xが発表され、SHAVEコアが16基に増強されるとともに、ニューラルネットワーク推論専用のハードウェアブロック(Neural Compute Engine)を初めて搭載し、Myriad 2比で10倍以上、1テラFLOPS超のピーク性能を達成した。前述のNeural Compute Stick 2(NCS2)はこのMyriad Xを1基搭載したUSBスティック型製品で、2018年第4四半期に発売され、Intel自身の製品仕様ページ上でも「販売終了(Discontinued)」と明記されている――エッジAI黎明期を代表したVPUチップが、後発のINT8専用ASIC・GPU統合型チップに市場を譲った形である。

Intelはこの買収と並行して、量子化・グラフ最適化を自社ハードウェア横断で統一的に扱うためのソフトウェアスタックとして、2018年5月16日にOpenVINOツールキットを初版公開した。OpenVINOはNNCF(Neural Network Compression Framework)というコンポーネントでINT8量子化やモデル圧縮を担い、Movidius系VPUだけでなくIntel製CPU・内蔵GPUまで同一のワークフローで最適化・デプロイできる点が設計上の狙いで、特定のアクセラレータチップ単体ではなくツールチェーンとして生き残っている点が、ハードウェア世代交代の激しいこの分野における一つの生存戦略を示している。

歴史: データセンターTPUの系譜を継ぐEdge TPU

Google Coralが搭載するEdge TPUは、Googleがデータセンター向けに開発したTPU(Tensor Processing Unit)と同じ「シストリックアレイ」方式の演算アーキテクチャを、電源制約の厳しい組み込み機器向けに大幅に縮小した設計である。シストリックアレイとは、多数の積和演算ユニットを格子状に並べ、データを一方向に流しながら隣接ユニット間でだけ受け渡しする回路方式で、汎用CPUのように命令ごとにレジスタ・メモリへアクセスする必要がないため、大規模な行列積を極めて高いエネルギー効率でこなせる。データセンター向けTPUは、この格子を巨大な規模で組み、液冷の銅製ヒートスプレッダを備えたボード上に複数チップを搭載する構成を取る(下写真はGoogleが公開しているTPU v3の基板写真で、液冷チューブでつながれた4基のチップが確認できる)。Edge TPUはこの発想はそのままに、格子の規模を大きく縮小し、消費電力をワット単位まで切り詰めることで、USBバスパワーやM.2スロットの電力予算内で動作できるようにしている。

液冷チューブで接続された4基のチップを搭載するGoogle Cloud TPU v3の基板

画像: Tensor Processing Unit 3.0(Zinskauf, CC BY-SA 4.0), Wikimedia Commons。データセンター向けTPU v3の基板写真で、Edge TPUそのものではなく、同じシストリックアレイ方式を採るデータセンター向けTPUの「本家」がどのような規模の製品かを示す参考写真。

Googleは2019年、このEdge TPU(4 TOPS、2W)を搭載したDev BoardとUSB Acceleratorを投入し、MobileNet v2を毎秒約400フレームで実行できる省電力な推論性能を武器に、Raspberry Piなど既存SBCへの後付けアクセラレータとして支持を集めた。しかしGoogleは以降、目立った新製品を投入しないまま実質的にプロダクトラインへの投資を止めており、公式サイトのcoral.aiは2026年時点でGoogle Developersの一般ページへリダイレクトされる状態になっている。それでもCoral製品が完全に使われなくなっていないのは、Googleがドライバ・ファームウェアをオープンソースとして公開したためで、監視カメラ向け物体検出ソフトウェアFrigate NVRのようなコミュニティプロジェクトがサポートを引き継ぎ、動態保存している(SBC比較記事で詳述)。

実例: Skydio X2ドローンが1基のJetson TX2で同時に回す9つのニューラルネット

エッジAIアクセラレータが単一のチップで複数のニューラルネットワークを並行実行する構成の代表例が、自律飛行ドローンSkydio X2/X2Dである。X2はNVIDIA Tegra X2(Jetson TX2に搭載されているのと同じSoC)を主演算チップとして搭載し、機体に配置された6台のカメラ(3組のステレオペア、トリノキュラー構成)からの映像を処理して、9種類のカスタム設計されたディープニューラルネットワークを機上で同時に走らせる。この推論結果をもとに、周囲の障害物・追跡対象(人物・車両など)を最大20個まで同時に追跡でき、3Dの周辺環境モデル(ワールドモデル)は毎秒100万点を超える更新レートで構築され、そのワールドモデルから実際の飛行制御コマンドを導く意思決定ループは毎秒500回の頻度で回っている。GPSに頼らず、機上のAI推論だけで狭い森林内や建物内を高速飛行しながら障害物を避けられるのは、この一連の処理をクラウドに投げず単一のTegra X2上で完結させているためである。

デラウェア州ドーバー空軍基地でKC-10輸送機の機体を点検するSkydio X2DドローンKC-10 Extenderの機体点検を行うSkydio X2D(ドーバー空軍基地)
沖縄・キャンプシュワブでの訓練中に飛行するSkydio X2D訓練中に飛行するSkydio X2D(沖縄・キャンプシュワブ)

画像: Skydio X2D inspecting aircraft(Mauricio Campino, Public domain)/ U S Marines Practice UAS Operations (9269101)(Public domain, 米海兵隊撮影)、いずれもWikimedia Commons。

Skydio X2Dは国防総省向けの型番で、実際の運用例としては、デラウェア州ドーバー空軍基地の第436整備任務群がKC-10エクステンダー空中給油機の構造健全性点検にX2Dを用いた事例(2022年11月)や、沖縄・キャンプシュワブで訓練する第5海兵航空・海軍統制連隊(5th ANGLICO)や、ドイツ・ホーエンフェルス演習場で訓練する第10山岳師団がSkydio X2Dを小型無人航空機システム(sUAS)として運用する事例が、米国防総省の公開写真として複数記録されている。後継機のX10ではTegra X2からJetson Orin世代のSoCへ、ナビゲーションカメラも32メガピクセルへと刷新されており、単一チップのTOPSが世代を追うごとに増えることが、機上で同時に回せるニューラルネット数や追跡対象数、意思決定ループの更新頻度といった実運用上の性能に直結する構図を示す好例になっている。

個人開発者の『AI家電』からオンデバイス学習の最前線まで

かつてはロボティクスや軍事用途が中心だったGPU統合型アクセラレータは、2026年になって個人・小規模開発者の手にも渡り始めている。ブルガリアのID Robotsが開発した「ClawBox」は、NVIDIA Jetson Orin Nanoを搭載したAIアシスタント向けハードウェア機器で、冷却ファンと側面通気口を備えた手のひらサイズの筐体に、ロボティクス向けに設計されたのと同じSoMをそのまま流用している。ドローンや産業ロボットの「頭脳」として設計されたチップが、量産数百〜数千台規模の個人・スタートアップ製品にそのまま転用できるようになったこと自体が、GPU統合型アクセラレータの汎用性の高さ(専用ASICと異なり任意のCUDAモデルをそのまま実行できる強み)を裏付けている。

もう一つの動きが、推論専用だったはずのエッジアクセラレータをオンデバイス学習(機上でのモデル再学習)にまで拡張しようとする研究である。2026年7月に公開された論文「Empowering On-Device Model Adaptation with an Edge AI Inference Accelerator」(Piechocki, Capotondi, Kraft、arXiv:2607.18101)は、Hailo-8L(前述のHailo-8の下位モデル)を使い、量子化済みのバックボーン部分の推論をHailo-8Lに肩代わりさせつつ、末端の軽量な層だけをCPU上でFP32のまま逐次微調整するという、推論と学習をチップ間で分担するパイプラインを提案している。Raspberry Pi 5単体でのオンデバイス学習と比較して、壁時計時間で最大15.4倍の高速化を達成したと報告されており、「推論専用」という前提そのものが、量子化・グラフコンパイルという同じ技術基盤の上で崩れ始めていることを示す、この分野の研究フロンティアの一端である。

性能を左右するパラメータ

参考リンク

#Edge TPU #Jetson Orin #Movidius #OpenVINO #量子化 #エッジAI