機械学習入門：生成モデル — 分布を学び、条件付きで作る

識別モデルが p(y|x) を学ぶのに対し、生成モデルは p(x) または条件付き p(x|c) を扱う。目的はもっともらしい出力だけでなく、条件、出典、失敗時の扱いを設計することにある。

VAEは潜在変数と変分下限を用い、GANは生成器と識別器の対戦、拡散モデルはノイズ付加の逆過程を学ぶ。

図: Duskcoil作成。生成プロセスの概念であり、出力の真実性・権利・安全性を示すものではない。

評価には尤度やFIDだけでなく、条件遵守、事実性、著作権・個人情報、偏り、危険出力、利用者への表示を含める。生成物を根拠資料と混同せず、重要判断は一次情報で検証する。

• Kingma and Welling: Auto-Encoding Variational Bayes
• Ho et al.: Denoising Diffusion Probabilistic Models

三つの系譜と実装上の違い

VAEはエンコーダ q_\phi(z|x) とデコーダ p_\theta(x|z) を使い、再構成と潜在分布の正則化を両立するELBOを最大化する。GANは \min_G\max_D\mathbb E[\log D(x)]+\mathbb E[\log(1-D(G(z)))] の対戦で、鋭い出力を得られる一方、mode collapseや学習不安定性が課題となる。拡散モデルは x_0 へ段階的にノイズを加え、ノイズ \epsilon の予測誤差を学ぶことで逆過程を近似する。サンプル品質、速度、制御性、尤度、メモリの交換条件は異なる。

失敗例と評価

もっともらしい画像・文章は真実ではない。訓練データの固有表現を再生するmemorization、人物・商標・機密の漏えい、指示と無関係な内容、偏見の増幅、存在しない引用が失敗例である。自動指標だけで採用せず、出典追跡、類似検索、専門家レビュー、赤チーム、条件別の人手評価を併用する。生成物を医療・法務・安全操作の一次根拠にしない。

実装時は入力条件、システムプロンプト、モデル版、乱数種、フィルタ、生成時刻を記録する。著作権・個人情報・利用規約を確認し、機密入力を外部サービスへ送らない。危険な依頼には拒否し、曖昧な場合は確認へ戻す。画像生成では合成である表示、人物の同意、誤認を避ける配布方法を検討する。

1. 生成目的と禁止用途を仕様化する。
2. 来歴・ライセンス・削除要求を追跡する。
3. 条件遵守、事実性、漏えい、偏りを分離評価する。

4. 人手承認、出典確認、拒否・ロールバックを用意する。

5. NIST Generative AI Profile

条件付け、探索、再現性

条件付き生成では、条件を入力しただけで必ず守られるわけではない。classifier-free guidanceを強くすると条件一致が上がる一方、色や構図の多様性が失われ、飽和した見た目になる場合がある。温度、top-p、反復回数、guidance scaleは品質のつまみであると同時に、再現性と計算費用の仕様である。既定値を暗黙に使わず、モデル識別子、重みのハッシュ、scheduler、seed、前後処理と一緒に保存する。

検索や外部データで条件付けする場合、生成器の出力と取得した根拠を分けて扱う。引用URLが存在しても、記述が根拠の内容に支持されているとは限らない。検索時刻、検索式、取得文書版、引用範囲を保存し、根拠が不足するときは推測で埋めず「確認できない」と返す。構造化出力はJSON Schemaなどで検証し、構文が正しいことと内容が正しいことを別々に試験する。

評価設計の比較

評価集合には通常入力だけでなく、曖昧な指示、競合する条件、既知人物、個人情報らしい文字列、危険領域、対応外言語を含める。平均値に加え、重大度別の最悪例と拒否率を公開する。人手評価は評価者への指示、提示順、盲検化、評価者間一致を記録し、好みの多数決だけで安全性を代用しない。

失敗例：デモ成功から無監督公開へ進む

少数の好例を選んだデモでは、同じ入力を繰り返したときの崩れ、プロンプト注入、学習データに似た出力、長い対話での条件忘れが見えない。公開後に利用者の入力を無条件で再学習へ回すと、個人情報や攻撃的データを永続化する恐れもある。ログ利用は同意、目的、保持期間、削除経路を定め、学習候補は隔離・審査する。外部ツールを呼ぶモデルには最小権限、引数検証、実行前確認、回数と費用の上限を設ける。

小さく導入する実装手順

1. 生成が必要な箇所と、検索・テンプレート・人手で十分な箇所を切り分ける。
2. 受け入れ条件と禁止条件を、実例を含む固定評価セットへ落とす。
3. 入出力フィルタ、根拠確認、スキーマ検証をモデル本体と独立した層にする。
4. 限定利用者でshadow運用し、失敗分類、所要時間、再試行、確認工数を測る。
5. 版を固定して段階公開し、重大インシデント時は機能停止または安全な定型応答へ戻す。
6. 更新ごとに固定セットと新規インシデント集合を再実行し、改善と退行を同時に確認する。

生成モデルの品質は、単一のベンチマークでは決まらない。どの条件で何を生成せず、何を根拠として示し、誰が最終確認するかまで含めて初めて製品仕様になる。

• NIST AI 600-1: Generative AI Profile
• OECD AI Principles

運用境界と変更管理

生成機能の責任範囲は画面にも表す。利用者が編集できる下書き、根拠確認済みの要約、自動実行される命令を同じ見た目にすると、流暢な文章が承認済み事実や安全な操作に見えてしまう。出力にはモデル生成であること、確認済みの範囲、参照した資料、最終更新時刻を表示する。高影響の操作は文章を生成したモデルから直接実行せず、型付きの候補操作に変換し、権限検査と利用者承認を通す。

モデル提供者の更新、フィルタ変更、プロンプト変更はすべて挙動変更である。日付だけで「最新版」を呼ばず、再現できる版を固定し、変更差分を評価する。旧版からの改善率だけでなく、新たに拒否される正常入力、言語別の退行、費用と待ち時間も比較する。終了時にはログ、埋め込み、キャッシュ、微調整データに残る利用者情報の削除範囲を確認する。

赤チームで見つけた失敗は秘密の逸話にせず、個人情報を除いた再現入力を回帰テストへ追加する。修正が一つの表現だけを塞いでいないか、意味を保った言い換えでも試す。事故件数がゼロでも、利用量、拒否率、レビューで差し戻された割合と合わせなければ安全性の改善とは判断できない。