Pengantar Pembelajaran Mesin: Dasar-Dasar — Mendesain Data, Kerugian, dan Generalisasi

Contents — find the section you need

Pembelajaran mesin adalah teknik penyetelan, dari data, sebuah fungsi yang mengubah input $x$ menjadi prediksi $\hat y=f_\theta(x)$ . Yang penting bukanlah nama model dengan akurasi tinggi, tetapi mendefinisikan apa yang akan diprediksi, bagaimana mengukur biaya kesalahan, dan apakah kondisi yang sama dapat dipertahankan dalam penerapan.

Dasar-dasar dan pembagian data

Minimalkan kerugian empiris pada set pelatihan:

\hat\theta=\arg\min_\theta\frac1n\sum_{i=1}^n\ell(f_\theta(x_i),y_i)+\lambda\Omega(\theta).

Entropi silang mewakili klasifikasi, kesalahan kuadrat untuk regresi. Pisahkan pelatihan, validasi, dan pengujian akhir berdasarkan entitas, video, atau waktu sehingga duplikat dan informasi di masa mendatang tidak bocor. Saat Anda melihat set pengujian dan menyesuaikan pengaturan, itu menjadi set validasi dan tidak dapat lagi mengukur generalisasi.

Diagram: Duskcoil, konseptual daripada hasil kinerja yang terukur.

Kegagalan	Penyebab	Respons
keberhasilan pelatihan saja	overfitting atau kebocoran	audit pemisahan dan regularisasi
penurunan pasca-penyebaran	pergeseran	pantau input dan evaluasi ulang
kesalahan yang tidak sama	ketidakseimbangan data	evaluasi dan pengumpulan bertingkat

Evaluasi dan keselamatan

Akurasi saja tidak cukup untuk bahaya yang jarang terjadi; periksa presisi, recall, kalibrasi, kinerja subkelompok, latensi, input yang hilang, dan pergeseran distribusi. Output berisiko tinggi harus diberikan kepada seseorang atau cadangan yang aman daripada menjadi otoritas akhir.

Periksa pemahaman Anda

Apakah akurasi pelatihan yang tinggi menghasilkan dunia nyata? kinerja?

Ukur generalisasi secara terpisah. Pisahkan data berdasarkan kondisi penerapan untuk menghindari kebocoran melalui subjek yang berulang atau periode waktu yang tumpang tindih.

Referensi

Dari definisi masalah ke fitur

“Memprediksi permintaan” dan “mendeteksi anomali” bukanlah spesifikasi. Tentukan siapa, informasi apa yang tersedia pada batas waktu tertentu, tenggat waktu, dan kesalahan mana yang dapat diterima. Fitur yang direkam setelah waktu target $t$ adalah kebocoran. Sesuaikan statistik pra-pemrosesan, imputasi, dan kosakata hanya pada data pelatihan. Standardisasi $x'=(x-\mu)/\sigma$ hanya berlaku jika $\mu,\sigma$ dipelajari dari pembagian pelatihan.

Garis dasar itu penting: nilai kemarin, aturan, regresi linier, atau pohon kecil yang tidak dapat dikalahkan oleh model yang kompleks tidak membenarkan biaya operasional. Bandingkan ketersediaan fitur, latensi, ukuran model, pengelola, dan fallback kegagalan dalam tabel yang sama dengan akurasi.

Generalisasi, bias, dan perubahan

Kerugian empiris yang rendah tidak berarti kerugian yang diharapkan rendah di bawah distribusi penyebaran $\mathbb E_{(x,y)\sim p_{deploy}}[\ell]$ . Pergeseran kovariat mengubah input; pergeseran konsep mengubah makna label. Musim, revisi perangkat keras, aturan pengoperasian, perilaku pengguna, dan kegagalan sensor menyebabkan keduanya. Pertahankan evaluasi bertingkat berdasarkan waktu, wilayah, atribut, dan perangkat, bukan satu pengujian tetap.

Evaluasi	Pertanyaan	Mudah terlewatkan
Akurasi	Berapa banyak yang benar secara keseluruhan?	Kesalahan kelas langka
Presisi/recall	Apakah peringatan dapat diandalkan dan ditangkap?	Biaya ambang batas
Kalibrasi	Apakah probabilitas sesuai dengan frekuensi?	Kesalahan dengan kepercayaan tinggi
Penangguhan waktu	Apakah akan berfungsi di masa mendatang?	Perubahan musiman dan kebijakan
Irisan atribut	Siapa yang menerima kesalahan?	Sampel kecil Ketidakpastian

Penyebaran dan Penanganan Kegagalan

Sebelum penyebaran, validasi skema input, satuan, rentang, data yang hilang, dan distribusi fitur. Putuskan apakah output yang tidak dapat digunakan akan kembali ke prediksi lama, aturan, atau manusia. Pantau loop umpan balik: rekomendasi mengubah paparan, dan detektor mengubah frekuensi inspeksi, sehingga data baru tidak secara alami diambil sampelnya.

Gunakan kontrak data, pelatihan yang diversikan dan dapat direproduksi, operasi bayangan, peluncuran bertahap, pemantauan kinerja/keadilan/latensi, dan pengembalian instan. Untuk keputusan berisiko tinggi, tunjukkan bukti, kepercayaan, dan input yang hilang kepada seseorang daripada menjadikan model sebagai otoritas akhir.

Audit batas prediksi dan fitur yang tersedia.
Bekukan garis dasar dan uji independen.
Petakan metrik ke biaya kesalahan dan persyaratan keselamatan.
Uji data yang hilang, pergeseran, dan input yang merugikan.
Terapkan ambang batas pemantauan, penghentian, dan persetujuan pelatihan ulang dalam operasi.
Lembar Data untuk Kumpulan Data )
Kartu Model untuk Pelaporan Model

Pisahkan ketidakpastian dari keputusan

Probabilitas model bukanlah sebuah tindakan. Untuk peringatan pemeliharaan, petakan probabilitas kegagalan ke stop loss, miss loss, dan biaya inspeksi sebelum menetapkan ambang batas. Jika tingkat kegagalan dasar berubah, ambang batas terbaik juga berubah. Periksa diagram keandalan dan skor Brier, dan sesuaikan kalibrasi Platt atau isotonik hanya pada data validasi; buat versi kalibrator dengan model.

Interval prediksi dan sebaran ensemble berguna tetapi bukan jaminan. Input di luar distribusi, kegagalan sensor, dan contoh adversarial dapat merusak estimasi ketidakpastian itu sendiri. Lewatkan validitas input, flag OOD, kepercayaan, dan aturan bisnis sebagai sinyal terpisah; pilih tinjauan manusia atau default yang aman jika ada yang tidak aman.

Memilih rezim pembelajaran

Rezim	Informasi guru	Kasus yang sesuai	Peringatan evaluasi
Terawasi	Label untuk setiap input	Klasifikasi/regresi yang jelas	Kualitas dan kebocoran label
Tanpa pengawasan	Biasanya tanpa label	Struktur dan kandidat anomali	Tidak memberikan makna setelah pengelompokan
Mandiri	Tugas proksi dari data	Korpus besar tanpa label	Evaluasi hilir dan tumpang tindih
Semi-supervised	Sedikit label ditambah tanpa label	Anotasi mahal	Amplifikasi kesalahan pseudo-label
Penguatan	Hadiah dan interaksi	Keputusan berurutan	Kesenjangan simulator dan eksplorasi aman

Bandingkan biaya penambahan label dengan biaya memperumit model. Klaster tanpa pengawasan bukanlah atribut manusia secara otomatis, dan pseudo-label yang lemah dapat memperkuat bias. Lacak siapa yang mengukur setiap label, kapan, dan dengan prosedur apa.

Kasus kegagalan: pemisahan acak mengetahui masa depan

Pemisahan acak jendela getaran yang tumpang tindih dari satu mesin menempatkan duplikat yang hampir sama di pelatihan dan pengujian. Kode pemeliharaan diberikan setelah kegagalan atau rata-rata dihitung selama periode penuh juga membocorkan informasi di masa mendatang. Pisahkan berdasarkan ID mesin dan waktu, dan hitung ulang fitur dari catatan yang tersedia pada saat prediksi. Skor yang lebih rendah tetapi jujur lebih dekat ke penerapan daripada skor yang dibesar-besarkan karena kebocoran.

Prosedur implementasi minimal

Masukkan pengguna, target, batas pengamatan, tindakan, dan biaya kesalahan dalam satu tabel spesifikasi.
Audit asal usul, persetujuan/hak, alasan data hilang, unit, frekuensi, dan prosedur pelabelan.
Perbaiki pemisahan grup/waktu dalam kode dan periksa secara otomatis hash duplikat dan persimpangan ID.
Pertahankan aturan dan model sederhana sebagai dasar dan laporkan interval kepercayaan bersyarat.
Simpan pra-pemrosesan, model, kalibrasi, dan ambang batas sebagai satu pipeline; evaluasi data akhir sekali.
Lakukan shadowing, rilis terbatas, dan peluncuran bertahap sambil memantau kualitas input, latensi, penolakan, dan hasil hilir.
Dokumentasikan pemicu pelatihan ulang, pemberi persetujuan, versi rollback, pemberitahuan insiden, dan kondisi penghentian.

Pelatihan ulang bukanlah peningkatan otomatis. Bandingkan yang lama dan yang baru pada set tetap yang sama dan tambahkan set tantangan untuk periode dan perangkat baru. Tinjau kinerja, ketidakpastian statistik, biaya komputasi, keamanan, dan beban operasional secara bersamaan.

What to read next

Continue the seriesPengantar Pembelajaran Mesin: Dasar-Dasar Jaringan Saraf Tiruan Explore another aspect of this fieldTolok ukur LLM lokal: respons pertama, tingkat generasi, dan memori.Explore another aspect of this fieldPengantar Deteksi Objek & Segmentasi Semantik — Membaca "Apa dan Di Mana" dari Sebuah Gambar

#machine learning #supervised learning #generalization #evaluation #data quality