セマンティックセグメンテーションは、画像の各ピクセルにカテゴリラベルを付与するタスクである。物体検出がバウンディングボックス単位の粗い位置推定であるのに対し、セグメンテーションはピクセル単位の精緻な領域分割を行う。2026年時点では、transformerベースの精緻化と、プロンプトで任意の対象を切り出せる基盤モデル化という2つの潮流が並走している。

基礎から知りたい場合は「Object Detection・Semantic Segmentation入門」も参照。

Meta AI (Segment Anything開発元)Meta AI

画像: Meta AIロゴ、Wikimedia Commons

評価指標: mIoU

セグメンテーションの精度は、物体検出のIoUをクラス単位に拡張したmIoU(mean Intersection over Union)で評価するのが標準的である。あるクラスcについて、正解領域G_cと予測領域P_cの重なりから求めたIoUを、全クラスC個について平均する。

\text{mIoU} = \frac{1}{|C|} \sum_{c \in C} \frac{|G_c \cap P_c|}{|G_c \cup P_c|}

ピクセル単位の分類問題として学習する際の損失関数には、画素ごとのクロスエントロピー損失を全画素について平均・総和した形がよく使われる。

\mathcal{L} = -\frac{1}{N} \sum_{n=1}^{N} \sum_{c \in C} y_{n,c} \log \hat{y}_{n,c}

ここでy_{n,c}は画素nが実際にクラスcである場合に1、そうでなければ0を取る正解ラベル、\hat{y}_{n,c}はモデルが画素nをクラスcと予測する確率である。

Transformerベース手法の到達点: SegFormerとMask2Former

CNNベースの手法(FCN、U-Netなど)に代わって主流になったのが、transformerを取り入れた手法である。SegFormerは、CNNの階層構造とtransformerの大域的なモデリング能力を組み合わせた設計で、階層的なtransformerエンコーダと軽量なMLPデコーダを使う。魚眼画像・通常画像を問わず高い精度を示す、信頼性の高い手法として評価されている。

Mask2Formerはさらに一歩進んで、セグメンテーションをクエリベースのマスク分類問題として定式化する。高解像度の空間情報を保持するピクセルデコーダと、固定数のクエリを学習するtransformerデコーダを組み合わせ、各クエリが関連領域に注目してマスクとカテゴリを予測する。Swin-Lをバックボーンに用いた構成で、パノプティック・インスタンス・セマンティックの3種類のセグメンテーションすべてで最先端の性能を達成しており、マスク付きアテンションの導入によってMask R-CNNより8倍速い収束も実現している。

Mask2Formerの「マスク付きアテンション」が速い理由

Mask2Formerが高速な収束と高い精度を両立できている技術的な核心は、通常のtransformerデコーダが画像全体に対して交差注意(cross-attention)を計算するのに対し、各クエリの注意対象を前段の層で予測したマスクの前景領域だけに限定する「マスク付きアテンション」にある。画像全体を毎回見直すのではなく、直前の予測が示す「注目すべき局所領域」だけに絞り込むことで、無駄な計算を省きながら局所的な特徴をより正確に抽出できる。

アーキテクチャ全体は、バックボーンとなる特徴抽出器・高解像度の空間情報を保持するピクセルデコーダ・9層のtransformerデコーダ(100個の学習可能なクエリを保持)で構成される。小さな物体への対応として、ピクセルデコーダが生成する特徴ピラミッド(1/8・1/16・1/32の3段階の解像度)を、transformerデコーダの各層へ順番に(ラウンドロビン方式で)供給するマルチスケール戦略も採られている。この設計により、パノプティック・インスタンス・セマンティックの3種類のセグメンテーションいずれでも高い性能を達成し、Mask R-CNNと比較して8倍速い収束を実現している。

プロンプトベースの転換: Segment Anythingの系譜

もう一つの大きな潮流が、あらかじめ固定されたカテゴリに縛られない「プロンプトベース」のセグメンテーションである。2023年にMetaが発表したSegment Anything Model(SAM)は、点・バウンディングボックス・粗いマスクなど様々なプロンプトを入力として、高品質なセグメンテーションマスクを生成できる。固定クラスを予測するのではなく、プロンプトに応じて任意の対象を切り出す、という発想の転換がコンピュータビジョンの基盤モデル化を大きく後押しした。

後継のSAM2は、単一スケールのViTを、マスク付きオートエンコーディングで事前学習したマルチスケールの階層型Vision Transformer(Hiera)に置き換え、動画セグメンテーションにも対応した。37種類のゼロショットデータセットで130FPSという実行速度と高い精度(mIoU 58.9/81.7)を両立している。

さらに2026年には、テキストプロンプトや画像の例示によって指定した「視覚的コンセプト」を検出・セグメンテーション・追跡できるSAM 3がMetaから発表されている。プロンプトによる汎用的なセグメンテーションという方向性が、テキストによる概念指定というレベルまで一段階進んだ形である。

SAM 3の実運用への広がり: 動画セグメンテーション競技会での実績

2026年に入ってから、SAM 3を土台にした応用研究が様々な分野で急速に発表されるようになっている。テキストプロンプトによる概念指定というSAM 3の特徴は、海洋監視(SAM 3を半自動アノテーションパイプラインに組み込んだ海事データセットMariSat)、通信塔の点検(UAV空撮画像の雑然とした背景から部品を切り出すタスク)など、専門領域への転用が相次いでいる。

動画セグメンテーションの実力を測る指標として、ECCV 2026で開催された第8回LSVOS Challenge・MOSEv2トラックの結果が参考になる。SAM 3を土台に、直近フレーム用と過去履歴用の2つの時間的メモリブランチを組み合わせた学習不要の手法SAM3Dualは、J&Fスコア64.37で3位に入賞している。同じ大会で2位に入ったCompetitive Memory Readoutは、同一クラス内の紛らわしい競合物体の情報を明示的にメモリ照合へ組み込む工夫により、66.20という主要指標のスコアを達成している。いずれも動画中でのオブジェクトID保持(同じ物体を時間を通して同一の対象として追跡し続ける能力)がSAM系モデルの実力を左右する核心的な課題であることを裏付けている。

軽量化と少数事例対応の具体例

SegFormer/Mask2Former系の効率性をさらに追求する動きも継続している。ViTベースの密な予測(セグメンテーション+深度推定などマルチタスク)向けの軽量デコーダDPNeXt(2026年7月)は、標準的なDPT(Dense Prediction Transformer)と比較して学習対象パラメータを78.6%削減しながら、Cityscapes・NYUv2の両ベンチマークで最先端級の性能を維持している。学習を一切行わずにCLIPのCLSトークンへの各パッチの寄与を分離することで局所的な意味情報を復元するTraceCLIP(2026年7月)は、8種類のゼロショットセマンティックセグメンテーションベンチマークで、既存の最強手法に対しmIoUで1.3〜4.5ポイントの改善を報告している。

少数事例(few-shot)対応の実例としては、災害後の建物被害を衛星画像から迅速に評価するプラットフォームHASTE(2026年7月)が挙げられる。基盤モデルの埋め込みを活用することで、フルスーパービジョン(全データにラベル付け)で学習したResNet-50ベースラインと同等の精度を、ラベル数がわずか20分の1のデータで達成しており、2023年以降30件以上の実際の災害対応(地震・ハリケーン・山火事など)を支援してきた実績を持つ。学習コストを抑えつつ実運用に耐える精度を得るという、基盤モデル時代のセグメンテーションが目指す方向性を体現する事例と言える。

2つの潮流の使い分け

現時点の実務的な整理としては、あらかじめカテゴリが決まっている(道路シーンの車・歩行者・標識など)固定タスクにはSegFormer/Mask2Former系のtransformerベース手法が精度・効率の両面で有利であり、未知の対象や少数事例(few-shot)への対応が必要な場面ではSAM系のプロンプトベース基盤モデルが強みを発揮する、という住み分けが進んでいる。

参考リンク

#セマンティックセグメンテーション #Segment Anything