Introduzione all'apprendimento automatico: fondamenti - Progettazione dei dati, funzione di perdita e generalizzazione

L'apprendimento automatico è la tecnica di calibrare, a partire dai dati, una funzione che trasforma un input x in una previsione \hat y=f_\theta(x). Ciò che conta non è il nome di un modello ad alta precisione, ma definire cosa prevedere, come misurare il costo degli errori e se le stesse condizioni possono essere mantenute in fase di implementazione.

Fondamenti e suddivisione dei dati

Minimizzare la perdita empirica sul set di addestramento:

L'entropia incrociata è rappresentativa per la classificazione, l'errore quadratico per la regressione. Suddividere l'addestramento, la validazione e il test finale per entità, video o tempo in modo che i duplicati e le informazioni future non vengano divulgate. Nel momento in cui si esamina il set di test e si modificano le impostazioni, questo diventa un set di validazione e non può più misurare la generalizzazione.

Diagramma: Duskcoil, risultato concettuale piuttosto che misurato.

Valutazione e sicurezza

La sola accuratezza non è sufficiente per i rischi rari; ispezionare precisione, richiamo, calibrazione, prestazioni del sottogruppo, latenza, input mancanti e spostamento della distribuzione. L'output ad alto rischio dovrebbe essere inviato a una persona o a un fallback sicuro piuttosto che diventare l'autorità finale.

Riferimenti

• valutazione del modello scikit-learn
• Regole di Google per l'apprendimento automatico

Dalla definizione del problema alle caratteristiche

"Prevedere la domanda" e "rilevare anomalie" non sono specifiche. Definire chi, quali informazioni sono disponibili a quale cutoff, la scadenza e quali errori sono accettabili. Una caratteristica registrata dopo il tempo target t rappresenta una fuga di informazioni. Adattare le statistiche di preelaborazione, l'imputazione e il vocabolario solo ai dati di addestramento. La standardizzazione x'=(x-\mu)/\sigma è valida solo quando \mu,\sigma vengono apprese dalla suddivisione di addestramento.

Una baseline è importante: Il valore di ieri, una regola, una regressione lineare o un piccolo albero che non può essere superato da un modello complesso non giustificano i costi operativi. Confronta la disponibilità delle funzionalità, la latenza, le dimensioni del modello, i manutentori e il fallback in caso di errore nella stessa tabella dell'accuratezza.

Generalizzazione, bias e cambiamento

Una bassa perdita empirica non implica una bassa perdita attesa con la distribuzione di implementazione \mathbb E_{(x,y)\sim p_{deploy}}[\ell]. Lo spostamento delle covariate modifica gli input; la deriva concettuale modifica il significato delle etichette. Stagioni, revisioni hardware, regole operative, comportamento degli utenti e guasti dei sensori sono entrambi responsabili. Mantieni una valutazione stratificata per tempo, regione, attributo e dispositivo invece di un singolo test fisso.

Sezioni di attributi | Chi riceve gli errori? | Incertezza dovuta a campioni di piccole dimensioni |

Implementazione e gestione degli errori

Prima dell'implementazione, convalidare lo schema di input, le unità di misura, gli intervalli, i dati mancanti e la distribuzione delle caratteristiche. Decidere se un output inutilizzabile deve essere gestito da una vecchia previsione, da una regola o da un operatore umano. Monitorare i cicli di feedback: le raccomandazioni modificano l'esposizione al rischio e i rilevatori modificano la frequenza di ispezione, in modo che i nuovi dati non vengano campionati in modo naturale.

Utilizzare contratti dati, training versionato e riproducibile, simulazione operativa, implementazione graduale, monitoraggio delle prestazioni/equità/latenza e rollback immediato. Per le decisioni ad alto rischio, mostrare a una persona le prove, il livello di confidenza e i dati mancanti, anziché considerare il modello come l'autorità finale.

1. Verificare la soglia di previsione e le caratteristiche disponibili.

2. Definire una baseline e un test indipendente.

3. Mappare le metriche ai costi degli errori e ai requisiti di sicurezza.

4. Testare i dati mancanti, lo spostamento e l'input avversario.

5. Implementare le soglie di monitoraggio, l'arresto e l'approvazione del riaddestramento nelle operazioni.

6. Schede tecniche per i dataset

7. Schede modello per la creazione di report

Separare l'incertezza dalle decisioni

La probabilità di un modello non è un'azione. Per un avviso di manutenzione, mappare la probabilità di guasto a stop loss, miss loss e costo di ispezione prima di impostare una soglia. Se il tasso di guasto di base cambia, anche la soglia ottimale cambia. Verificare i diagrammi di affidabilità e il punteggio di Brier e adattare la calibrazione di Platt o isotonica solo sui dati di validazione; aggiornare la versione del calibratore con il modello.

Gli intervalli di previsione e la dispersione dell'ensemble sono utili ma non sono garanzie. Input fuori distribuzione, guasti dei sensori ed esempi avversari possono compromettere la stima dell'incertezza stessa. Trasmettere la validità dell'input, il flag OOD, la confidenza e le regole aziendali come segnali separati; scegliere la revisione umana o un valore predefinito sicuro quando uno qualsiasi di essi non è sicuro.

Scelta di un regime di apprendimento

Confronta il costo dell'aggiunta di etichette con il costo della complessità del modello. I cluster non supervisionati non sono automaticamente attributi umani e le pseudo-etichette deboli possono amplificare i bias. Tieni traccia di chi ha misurato ciascuna etichetta, quando e con quale procedura.

Caso di errore: la suddivisione casuale conosce il futuro

La suddivisione casuale di finestre di vibrazione sovrapposte da una macchina introduce quasi duplicati nei set di training e test. Un codice di manutenzione assegnato dopo un errore o una media calcolata sull'intero periodo fughe di informazioni future. Suddividere per ID macchina e tempo e ricalcolare le caratteristiche dai record disponibili al momento della previsione. Un punteggio inferiore ma onesto è più vicino all'implementazione rispetto a un punteggio gonfiato dalle fughe di informazioni.

Procedura di implementazione minima

1. Inserire utenti, target, cutoff di osservazione, azione e costo dell'errore in un'unica tabella di specifica.

2. Verificare la provenienza, il consenso/i diritti, il motivo della mancanza, le unità, la frequenza e la procedura di etichettatura.

3. Correggere la suddivisione per gruppo/tempo nel codice e controllare automaticamente gli hash duplicati e le intersezioni degli ID.

4. Mantenere regole e modelli semplici come baseline e riportare gli intervalli di confidenza condizionali.

5. Salvare pre-elaborazione, modello, calibrazione e soglia come un'unica pipeline; valutare i dati finali una sola volta.

6. Eseguire un'implementazione di prova, una versione limitata e un'implementazione graduale monitorando la qualità dell'input, la latenza, i rifiuti e i risultati a valle.

7. Documentare il trigger di riaddestramento, l'approvatore, la versione di rollback, la notifica dell'incidente e la condizione di ritiro.

Il riaddestramento non è un miglioramento automatico. Confrontare il vecchio e il nuovo sullo stesso set fisso e aggiungere un set di sfida per i nuovi periodi e dispositivi. Analizzare congiuntamente prestazioni, incertezza statistica, costi, sicurezza e oneri operativi.

• Framework di gestione del rischio per l'IA del NIST
• Debito tecnico nascosto nei sistemi di apprendimento automatico

-