Makine Öğrenimine Giriş: Temeller — Veri, Kayıp Fonksiyonu ve Genelleme Tasarımı

Makine öğrenimi, bir girdiyi (x) bir tahmine (\hat y=f_\theta(x)) dönüştüren bir fonksiyonu verilerden yola çıkarak ayarlama tekniğidir. Önemli olan, yüksek doğruluklu bir modelin adı değil, neyin tahmin edileceğini tanımlamak, hataların maliyetini nasıl ölçeceğimiz ve aynı koşulların dağıtımda korunup korunamayacağıdır.

Temeller ve Veri Bölme

Eğitim kümesi üzerindeki ampirik kaybı en aza indirin:

Çapraz entropi sınıflandırma için, karesel hata ise regresyon için temsilidir. Eğitim, doğrulama ve son test kümelerini varlık, video veya zamana göre bölün, böylece tekrarlanan veriler ve gelecekteki bilgiler sızmasın. Test kümesine baktığınız ve ayarları değiştirdiğiniz anda, bu bir doğrulama kümesi haline gelir ve artık genelleme ölçümü yapılamaz.

Diyagram: Duskcoil, ölçülen bir performans sonucu yerine kavramsal bir model.

Değerlendirme ve güvenlik

Nadir tehlikeler için yalnızca doğruluk yeterli değildir; hassasiyet, geri çağırma, kalibrasyon, alt grup performansı, gecikme, eksik girdi ve dağıtım kaymasını inceleyin. Yüksek riskli çıktı, nihai otorite haline gelmek yerine bir kişiye veya güvenli bir yedek sisteme yönlendirilmelidir.

Referanslar

• scikit-learn model değerlendirmesi
• Google ML Kuralları

Problem tanımından özelliklere

“Talep tahmini” ve “anormallikleri tespit etme” spesifikasyonlar değildir. Kimin, hangi bilginin hangi kesme noktasında mevcut olduğunu, son tarihi ve hangi hataların kabul edilebilir olduğunu tanımlayın. Hedef zamandan sonra kaydedilen bir özellik t sızıntıdır. Ön işleme istatistiklerini, eksik veri tamamlamayı ve kelime dağarcığını yalnızca eğitim verilerine uygulayın. Standardizasyon x'=(x-\mu)/\sigma yalnızca \mu,\sigma eğitim bölümünden öğrenildiğinde geçerlidir.

A Temel değerler önemlidir: Dünkü değer, bir kural, doğrusal regresyon veya karmaşık bir model tarafından geçilemeyen küçük bir ağaç, operasyonel maliyeti haklı çıkarmaz. Özellik kullanılabilirliği, gecikme, model boyutu, bakımcılar ve arıza yedeklemesini doğrulukla aynı tabloda karşılaştırın.

Genelleme, önyargı ve değişim

Düşük ampirik kayıp, dağıtım dağılımı altında düşük beklenen kayıp anlamına gelmez \mathbb E_{(x,y)\sim p_{deploy}}[\ell]. Kovaryat kayması girdileri değiştirir; kavram kayması etiket anlamını değiştirir. Mevsimler, donanım revizyonları, işletim kuralları, kullanıcı davranışı ve sensör arızası her ikisine de neden olur. Tek bir sabit test yerine zamana, bölgeye, özelliğe ve cihaza göre katmanlı değerlendirme yapın.

Dağıtım ve hata yönetimi

Dağıtımdan önce, girdi şemasını, birimleri, aralıkları, eksiklikleri ve özellik dağılımlarını doğrulayın. Kullanılamaz bir çıktının eski bir tahmine, bir kurala veya bir insana geri dönüp dönmeyeceğine karar verin. Geri bildirim döngülerini izleyin: öneriler maruz kalmayı değiştirir ve dedektörler denetim sıklığını değiştirir, böylece yeni veriler doğal olarak örneklenmez.

Veri sözleşmeleri, sürümlü ve tekrarlanabilir eğitim, gölge operasyon, aşamalı dağıtım, performans/adalet/gecikme izleme ve anlık geri alma kullanın. Yüksek riskli kararlar için, modeli nihai otorite yapmak yerine, kanıt, güven ve eksik girdiyi bir kişiye gösterin.

1. Tahmin kesme noktasını ve mevcut özellikleri denetleyin.

2. Bir temel ve bağımsız test dondurun.

3. Metrikleri hata maliyetine ve güvenlik gereksinimlerine eşleyin.

4. Eksik verileri, kaymayı ve düşmanca girdiyi test edin.

5. İzleme eşiklerini belirleyin, Operasyonlarda durdurma ve yeniden eğitim onayı.

6. Veri Kümeleri için Veri Sayfaları

7. Model Raporlaması için Model Kartları

Belirsizliği kararlardan ayırın

Bir model olasılığı bir eylem değildir. Bir bakım uyarısı için, eşik belirlemeden önce arıza olasılığını durdurma kaybı, kaçırma kaybı ve denetim maliyetine eşleştirin. Temel arıza oranı değişirse, en iyi eşik de değişir. Güvenilirlik diyagramlarını ve Brier puanını kontrol edin ve Platt veya izotonik kalibrasyonu yalnızca doğrulama verilerinde uygulayın; kalibratörü modelle birlikte sürümlendirin.

Tahmin aralıkları ve topluluk yayılımı yararlıdır ancak garanti değildir. Dağılım dışı girdi, sensör arızası ve düşmanca örnekler belirsizlik tahmininin kendisini bozabilir. Girdi geçerliliğini, OOD bayrağını, güveni ve iş kurallarını ayrı sinyaller olarak iletin; herhangi biri güvenli değilse insan incelemesini veya güvenli bir varsayılanı seçin.

Bir öğrenme rejimi seçmek

Etiket eklemenin maliyetini, modeli karmaşıklaştırmanın maliyetiyle karşılaştırın. Denetimsiz kümeler otomatik olarak insan nitelikleri değildir ve zayıf sahte etiketler önyargıyı artırabilir. Her etiketi kimin, ne zaman ve hangi prosedürle ölçtüğünü takip edin.

Başarısızlık durumu: rastgele bölme geleceği biliyor

Bir makineden gelen örtüşen titreşim pencerelerinin rastgele bölünmesi Eğitim ve testte neredeyse aynı kayıtlar bulunması. Arıza sonrasında atanan bir bakım kodu veya tüm dönem boyunca hesaplanan ortalama değer de gelecekteki bilgileri sızdırır. Makine kimliğine ve zamana göre bölün ve tahmin zamanında mevcut kayıtlardan özellikleri yeniden hesaplayın. Daha düşük ancak dürüst bir puan, sızıntı nedeniyle şişirilmiş bir puandan daha çok dağıtıma yakındır.

Minimum uygulama prosedürü

1. Kullanıcıları, hedefi, gözlem kesme noktasını, eylemi ve hata maliyetini tek bir spesifikasyon tablosuna koyun.

2. Kaynak, onay/haklar, eksiklik nedeni, birimler, sıklık ve etiketleme prosedürünü denetleyin.

3. Koddaki grup/zaman ayrımını düzeltin ve yinelenen hash'leri ve kimlik kesişimlerini otomatik olarak kontrol edin.

4. Kuralları ve basit modelleri temel çizgiler olarak tutun ve koşullu güven aralıklarını raporlayın.

5. Ön işlemeyi, modeli, kalibrasyonu ve eşiği tek bir işlem hattı olarak kaydedin; son verileri bir kez değerlendirin.

6. Giriş kalitesini, gecikmeyi, reddi ve aşağı akış sonuçlarını izlerken gölge, sınırlı sürüm ve aşamalı dağıtım yapın.

7. Yeniden eğitim tetikleyicisini, onaylayıcıyı, geri alma sürümünü, olay bildirimini ve emekliliği belgeleyin. koşul.

Yeniden eğitim otomatik bir iyileştirme değildir. Eski ve yeni verileri aynı sabit veri kümesi üzerinde karşılaştırın ve yeni dönemler ve cihazlar için bir meydan okuma veri kümesi ekleyin. Performansı, istatistiksel belirsizliği, hesaplama maliyetini, güvenliği ve operasyonel yükü birlikte gözden geçirin.

• NIST Yapay Zeka Risk Yönetimi Çerçevesi
• Makine Öğrenme Sistemlerinde Gizli Teknik Borç