Pengantar Pembelajaran Mesin: Model Generatif

Di mana model diskriminatif mempelajari p(y|x), model generatif merepresentasikan p(x) atau p(x|c), seringkali dengan memaksimalkan

VAE menggunakan variabel laten dan batasan variasi; GAN melatih generator dan diskriminator secara adversarial; model difusi belajar untuk membalikkan proses derau.

Diagram 1 · Use the button to switch views

Diagram: Duskcoil. Ini tidak menetapkan kebenaran, hak, asal usul, atau keamanan keluaran yang dihasilkan.

Evaluasi kepatuhan kondisi, faktualitas, privasi, hak cipta, bias, keluaran berbahaya, dan pengungkapan—bukan hanya metrik visual. Jangan perlakukan materi yang dihasilkan sebagai bukti tanpa verifikasi sumber primer.

• Auto-Encoding Variational Bayes
• Denoising Diffusion Probabilistic Models

Tiga keluarga dan trade-off implementasinya

VAE menggunakan encoder q_\phi(z|x) dan decoder p_\theta(x|z) dan memaksimalkan ELBO yang menyeimbangkan rekonstruksi dengan regularisasi distribusi laten. GAN melatih generator dan diskriminator dalam permainan minimax \min_G\max_D\mathbb E[\log D(x)]+\mathbb E[\log(1-D(G(z)))]. Ia dapat menghasilkan output yang tajam, tetapi mode collapse dan pelatihan yang tidak stabil tetap menjadi perhatian. Model difusi secara bertahap menambahkan noise ke x_0 dan belajar memprediksi noise \epsilon sehingga proses sebaliknya dapat didekati. Kualitas, kecepatan, kontrolabilitas, kemungkinan, dan memori adalah pertimbangan yang berbeda.

Kasus kegagalan dan evaluasi

Gambar yang masuk akal dan Prosa tidak selalu benar. Hafalan frasa pelatihan, kebocoran informasi pribadi, merek dagang, atau data rahasia, keluaran yang tidak relevan dengan instruksi, amplifikasi bias, dan kutipan yang dibuat-buat adalah kegagalan umum. Gabungkan penelusuran asal usul, pencarian kesamaan, tinjauan ahli, pengujian tim merah, dan evaluasi manusia spesifik kondisi alih-alih mengandalkan satu metrik otomatis. Jangan pernah menggunakan keluaran yang dihasilkan sebagai bukti utama untuk operasi medis, hukum, atau keselamatan.

Catat kondisi masukan, perintah sistem, versi model, seed acak, filter, dan waktu pembuatan. Periksa hak cipta, privasi, dan ketentuan penggunaan; jangan mengirim masukan rahasia ke layanan eksternal. Tolak permintaan berbahaya dan kembali untuk klarifikasi untuk permintaan yang ambigu. Gambar yang dihasilkan harus diberi label sebagai sintetis, dan persetujuan serta metode distribusi harus dipertimbangkan untuk orang-orang.

1. Tentukan tujuan pembuatan dan penggunaan yang dilarang.

2. Lacak asal usul, lisensi, dan permintaan penghapusan.

3. Evaluasi kepatuhan, faktualitas, kebocoran, dan bias secara terpisah.

4. Berikan persetujuan manusia, pengecekan sumber, penolakan, dan pengembalian.

5. [NIST Generative AI] Profil

Pengkondisian, pencarian, dan reproduksibilitas

Memberikan suatu kondisi tidak menjamin bahwa kondisi tersebut akan dipatuhi. Panduan bebas pengklasifikasi yang kuat dapat meningkatkan kepatuhan sekaligus mengurangi keragaman atau menghasilkan saturasi. Suhu, top-p, jumlah iterasi, dan skala panduan adalah pengatur kualitas dan spesifikasi untuk reproduksibilitas dan biaya komputasi. Simpan pengidentifikasi model, hash bobot, penjadwal, seed, dan pra-pemrosesan daripada mengandalkan default.

Saat pengambilan atau pembuatan kondisi data eksternal, pisahkan teks yang dihasilkan dari bukti yang diambil. URL yang ada tidak membuktikan bahwa suatu klaim didukung. Simpan waktu pencarian, kueri, versi dokumen, dan rentang yang dikutip; jika bukti tidak cukup, katakan saja daripada menebak. Validasi output terstruktur dengan Skema JSON, dan uji sintaks dan kebenaran secara independen.

Membandingkan desain evaluasi

Sertakan instruksi yang ambigu, kondisi yang bertentangan, kemiripan orang yang dikenal, string yang tampak personal, domain berbahaya, dan bahasa yang tidak didukung dalam set evaluasi. Laporkan kasus terburuk yang parah dan tingkat penolakan selain rata-rata. Evaluasi manusia harus mendokumentasikan petunjuk, pengurutan, penyamaran, dan kesepakatan antar penilai.

Kasus kegagalan: dari demo yang sukses hingga rilis tanpa pengawasan

Sejumlah kecil contoh yang menarik menyembunyikan ketidakstabilan pada Permintaan berulang, injeksi permintaan, keluaran seperti data pelatihan, dan hilangnya kondisi dalam percakapan panjang. Mengirim input pengguna langsung ke pelatihan di masa mendatang dapat menyimpan data pribadi atau data yang bersifat penyalahgunaan. Tentukan jalur persetujuan, tujuan, retensi, dan penghapusan; isolasi dan tinjau kandidat pelatihan. Berikan model yang menggunakan alat hak akses minimal, validasi argumen, konfirmasi sebelum eksekusi, dan batasan biaya dan panggilan.

Implementasi kecil dan bertahap

1. Pisahkan tempat yang benar-benar membutuhkan generasi dari tempat di mana pencarian, templat, atau orang sudah cukup.

2. Ubah kondisi penerimaan dan larangan menjadi set evaluasi tetap dengan contoh.

3. Jaga agar filter input/output, pemeriksaan bukti, dan validasi skema independen dari model.

4. Uji bayangan dengan audiens terbatas dan ukur kelas kegagalan, latensi, percobaan ulang, dan upaya peninjauan.

5. Tetapkan versi, luncurkan secara bertahap, dan kembali ke respons yang aman atau nonaktifkan fitur tersebut pada insiden serius.

6. Jalankan kembali set tetap dan insiden setelah setiap pembaruan untuk mendeteksi regresi serta peningkatan.

Kualitas bukanlah tolok ukur tunggal. Spesifikasi produk harus menyatakan apa Tidak dihasilkan, bukti apa yang ditunjukkan, dan siapa yang menyetujui hasilnya.

• NIST AI 600-1: Profil AI Generatif
• Prinsip AI OECD

Batasan operasional dan manajemen perubahan

Batasan tanggung jawab harus terlihat di antarmuka. Draf yang dapat diedit pengguna, ringkasan yang telah diperiksa buktinya, dan perintah yang dieksekusi secara otomatis tidak boleh memiliki perlakuan visual yang sama. Tunjukkan bahwa output dihasilkan, apa yang telah diperiksa, sumber yang dirujuk, dan waktu pembaruan terakhir. Tindakan berdampak tinggi harus diubah menjadi kandidat yang diketik dan melewati otorisasi dan persetujuan pengguna daripada dieksekusi langsung dari prosa yang dihasilkan.

Pembaruan penyedia, perubahan filter, dan perubahan prompt adalah perubahan perilaku. Sematkan versi yang dapat direproduksi dan bandingkan perbedaannya, termasuk input normal yang baru ditolak, regresi khusus bahasa, biaya, dan latensi. Saat penghentian, periksa cakupan penghapusan untuk log, embedding, cache, dan data fine-tuning. Tambahkan Kegagalan tim merah yang telah dianonimkan untuk pengujian regresi, termasuk parafrase, dan interpretasikan jumlah insiden bersama dengan penggunaan, tingkat penolakan, dan penolakan ulasan.