クラウドAPIを経由せず、手元のマシンで大規模言語モデルを動かす「Local LLM」は、この数年で実用段階に入った。オープンウェイトモデルの性能向上と、量子化技術によるモデル軽量化という2つの潮流が組み合わさった結果である。

OllamaOllama
Hugging FaceHugging Face

画像: Ollama / Hugging Face ロゴ、Wikimedia Commons

オープンウェイトモデルの急成長

2026年時点のオープンウェイトモデルの勢力図は数ヶ月単位で更新され続けている。DeepSeekはFlash/Pro両バリアントで高い効率性を打ち出し、Qwenは対応ハードウェア・モデルサイズの選択肢の広さで「有力な挑戦者」から「大学院レベルの推論で最高クラス」の評価まで登り詰めた。MetaのLlama 4はオープンモデルとして1,000万トークンという長大なコンテキストウィンドウを実現している。直近ではZ.aiのGLM-5.2がコーディング・エージェント性能を大きく向上させて登場から数日でエージェントフレームワークに統合され、Kimi K2.7 Code HighSpeedはマルチモーダルなコーディング推論を6倍高速化したと謳うなど、更新のペースは非常に速い。

ベンチマーク上の到達点も重要な変化である。SWE-bench系のコーディング評価スイートにおける最上位のオープンウェイトモデルのスコアは、最先端の商用モデルとの差が一桁パーセント台まで縮まっており、日常的なエンジニアリング用途では両者の差が実質的に埋まりつつあるとの指摘もある。

土台となる注意機構

Ollamaで動かすOllama系モデルを含め、現在の主要な大規模言語モデルはいずれもtransformerアーキテクチャを基盤としており、その核心は自己注意機構(self-attention)である。入力系列から得たクエリQ・キーK・バリューVの3つの行列を使い、次のスケール化内積注意(scaled dot-product attention)を計算する。

\text{Attention}(Q, K, V) = \text{softmax}\!\left( \frac{QK^{\top}}{\sqrt{d_k}} \right) V

QK^\topがトークン同士の関連度(似ている度合い)を表し、\sqrt{d_k}(キーの次元数の平方根)で割ることで内積の値が大きくなりすぎてsoftmaxの勾配が消える問題を防いでいる。この演算をモデルのパラメータ数・層数だけ繰り返すのがtransformerの推論であり、パラメータの大部分(重み行列)をどこまで軽量化できるかが、次に述べる量子化技術の役割になる。

線形量子化の基本形

GGUF・AWQ・GPTQに共通する土台となる考え方は、浮動小数点の重みxを、より少ないビット数の整数qへ変換する線形量子化である。

q = \text{round}\left( \frac{x}{s} \right) + z

sはスケール(1段階あたりの実数幅)、zはゼロ点(整数表現上でどこが実数の0に対応するか)を表す較正パラメータで、この2つをどう決めるか、どの単位(モデル全体・層単位・重み単位)で決めるかの工夫が、各手法の性能差を生んでいる。

量子化技術の成熟: GGUF・AWQ・GPTQ

モデル性能の向上と並んで欠かせないのが、量子化によるモデルサイズの圧縮である。GGUF・AWQ・GPTQといった量子化手法は、モデルサイズを約70%削減しながら精度低下を2%未満に抑えることに成功しており、これにより320億パラメータ級のモデルが16GBのメモリに収まるようになった。一般的なコンシューマー向けハードウェアでのローカル推論でも、最先端モデルの70〜85%程度の品質をリクエストあたりの追加コストゼロで得られる水準に達している。

3つの形式にはそれぞれ向き不向きがある。GGUF(旧GGML)はllama.cppとそのエコシステム(Ollama、LM Studioなど)のネイティブ形式で、CPU+GPUのハイブリッド推論に強い。GPTQはGPU専用推論での速度に優れ、AWQは4bit量子化時の精度対サイズ比で最も優れているとされる。一般的なローカル開発用途では、GGUF経由のOllamaが既定の選択肢として推奨されることが多い。

3つの量子化方式の技術的な違い

GGUF・AWQ・GPTQは、いずれもモデルの重みを16bit/32bitの浮動小数点から4bit程度まで削減する量子化手法だが、削減の仕方に技術的な違いがある。

GPTQは量子化を最適化問題として扱う。損失関数の二次情報(ヘッセ行列)を近似的に使い、どの重みの丸め誤差が出力に与える影響が大きいかを判定した上で、1つの重みを量子化するたびに生じる誤差を、同じ行内のまだ量子化していない重みに補償として分配しながら進める。GPUでの推論性能に主眼を置いた手法で、7Bパラメータ級のモデルの量子化に単一のA100 GPUで2〜4時間程度を要する。

AWQは逆に、量子化そのものではなく「どの重みが重要か」の見極めに主眼を置く。モデルの活性化(activation)を実際に観測する較正フェーズを経て、出力品質に強く影響する「顕著な」重みを特定し、それらだけ高い精度を保ったまま残りの重みを積極的に量子化する。GPTQより少ない較正サンプル数(128〜512程度、GPTQは2,048以上を要することが多い)で完了するため、7Bモデルで10〜30分程度と大幅に高速である。

GGUF(llama.cppのネイティブ形式)は「K-quants」と呼ばれる方式で、層ごとに異なるビット深度を割り当てる。注意機構の層のように重要度が高い層には6bit、順伝播層には4bitといった具合に使い分けることで、単純な一律4bit量子化より高いビットあたりの品質を達成している。Q4_K_Mという代表的な設定では、元のモデル品質の約92%を維持できるとされている。

この技術的性質の違いが、そのまま用途の向き不向きに直結する。GPU専用の高速推論を求めるならAWQ、GPUの成熟したエコシステムと事前量子化済みモデルの豊富さを重視するならGPTQ、CPU/GPUハイブリッド環境での手軽さを重視するならGGUF(Ollama等)、という住み分けになる。

llama.cpp: ローカル推論を支えるエンジンの仕組み

Ollamaを含む多くのローカルLLM実行環境の基盤になっているのが、C/C++で書かれた推論エンジンllama.cppと、その計算基盤であるGGMLというテンソルライブラリである。GGMLはPyTorchやTensorFlowに相当する、依存関係の少ない軽量なテンソル演算ライブラリで、モデルの計算全体を「計算グラフ」として表現する。あるテンソルは実際のデータ(重みなど)を保持する一方、別のテンソルは他のテンソル同士の演算結果を表すだけで、実際に計算が実行されるまで値を持たない、という設計になっている。この計算グラフをCPU上で直接実行することも、CUDA(NVIDIA GPU向け)やMetal(Apple製品向け)といったアクセラレータ向けの命令に変換して実行することもでき、同じモデルファイルを様々なハードウェア構成で動かせる可搬性の高さが、GGUF形式の普及を支える技術的な土台になっている。

普及の実態を示す数字

普及の速さは具体的な数字にも表れている。Ollamaの月間ダウンロード数は、2023年第1四半期の10万から2026年第1四半期には5,200万へと、3年で520倍に増加した。ローカル推論向けにフォーマットされたHugging Face上のGGUFモデル数も、同期間で200から13万5千まで増加している。この基盤を支えるllama.cppプロジェクトは、GitHub上で7万3千を超えるスターを獲得している。

2026年後半のモデルリリース状況

Ollama公式ブログの発表履歴を追うと、2026年後半だけでも大型リリースが立て続いている。8月10日にはMeta Superintelligence Labsが同社初のオープンモデルとなる300億パラメータのマルチモーダルモデル「Muse Glimmer」をApache 2.0ライセンスで公開し、翌日の8月11日にはNVIDIAがマルチステップのエージェントタスク向けに設計された300億パラメータモデル「Nemotron 3.5 Lightning」を発表している。6月29日にはApple Silicon上のMLXランタイムでGemma 4の推論速度を最大90%高速化する更新が入っており、コーディングエージェント用途での実行速度改善が続いている。Ollama自体も7月9日に8,800万ドルの資金調達を発表し、開発者ユーザー数は890万人に達したと公表している。オープンウェイトモデルのエコシステムが、単なる「モデル公開」を超えて商用インフラとしての体裁を整えつつある段階と言える。

量子化技術の最前線: NVFP4という新しい選択肢

GGUF/AWQ/GPTQに続く新しい量子化フォーマットとして、NVIDIAのBlackwellアーキテクチャ向けに設計されたNVFP4(4bit浮動小数点フォーマット)の研究が2026年に入って急速に増えている。ブロックサイズ16での量子化が精度とストレージのトレードオフで最適との報告(2026年6月)や、ブロックスケールの初期値をスイープ探索で最適化するScaleSweep(2026年5月)のように、積極的な量子化を行っても全精度モデルの93%超の性能を維持できると報告する手法が相次いでいる。ヘッセ行列に基づく2次近似でグループごとのスケール値を推論時オーバーヘッドなしに精緻化するH-Scale(2026年8月)のような後処理手法も登場しており、量子化そのものの研究が「重みをどこまで削るか」から「削った上でどう精度を取り戻すか」というフェーズに進んでいる。

KVキャッシュ(生成時に過去のトークンの中間表現を保持するメモリ領域で、長い文脈を扱うほど肥大化する)の圧縮も並行して進化している。トークンごとの重要度スコアに応じて2種類の精度を動的に割り当てるSemKV(2026年8月)は、品質が急激に劣化する「品質の崖」現象を回避しながら6.0倍、最適化されたクオンタイザと組み合わせると7.9倍のストレージ削減を達成したと報告している。長文コンテキストを扱うローカル推論において、重みの量子化だけでなくKVキャッシュの圧縮も実用上の焦点になりつつある。

home-serverでの実際の運用

このプロジェクトのhome-serverでも、Ollamaを直接ホスト側にネイティブインストールしてGPUへ直接アクセスできる構成にし、Open WebUIをフロントエンドとして接続している(詳細は「ローカルAIとプライベート検索の仕組み」を参照)。汎用対話モデルと、検閲の少ない用途向けモデルを使い分けている運用は、上記のような量子化技術の成熟があって初めて、追加のクラウド課金なしに成立している。

参考リンク

#LLM #Ollama #量子化