Introdução ao Aprendizado de Máquina: Fundamentos — Projetando Dados, Função de Perda e Generalização

O aprendizado de máquina é a técnica de ajustar, a partir de dados, uma função que transforma uma entrada x em uma previsão \hat y=f_\theta(x). O que importa não é o nome de um modelo de alta precisão, mas sim definir o que prever, como medir o custo dos erros e se as mesmas condições podem ser mantidas na implementação.

Fundamentos e divisão de dados

Minimize a perda empírica no conjunto de treinamento:

A entropia cruzada é representativa para classificação, o erro quadrático para regressão. Divida os conjuntos de treinamento, validação e teste final por entidade, vídeo ou tempo para que duplicatas e informações futuras não se misturem. No momento em que você analisa o conjunto de teste e ajusta as configurações, ele se torna um conjunto de validação e não pode mais medir a generalização.

Diagrama: Duskcoil, conceitual em vez de um resultado de desempenho medido.

Avaliação e segurança

A precisão por si só é inadequada para riscos raros; inspecione precisão, recall, calibração, desempenho do subgrupo, latência, entrada ausente e deslocamento de distribuição. Resultados de alto risco devem ser direcionados a uma pessoa ou a um mecanismo de contingência seguro, em vez de se tornarem a autoridade final.

Referências

• avaliação de modelo scikit-learn
• Regras do Google para ML

Da definição do problema aos recursos

“Prever demanda” e “detectar anomalias” não são especificações. Defina quem, quais informações estão disponíveis em qual limite, o prazo e quais erros são aceitáveis. Um recurso registrado após o tempo alvo t é um vazamento. Ajuste as estatísticas de pré-processamento, imputação e vocabulário apenas nos dados de treinamento. A padronização x'=(x-\mu)/\sigma é válida somente quando \mu,\sigma são aprendidos a partir da divisão de treinamento.

Uma linha de base importa: o valor de ontem, uma regra, regressão linear ou uma pequena árvore que não pode ser superada por uma Um modelo complexo não justifica o custo operacional. Compare a disponibilidade de recursos, a latência, o tamanho do modelo, os responsáveis pela manutenção e o plano de contingência em caso de falha na mesma tabela que a acurácia.

Generalização, viés e mudança

Uma baixa perda empírica não implica em uma baixa perda esperada sob a distribuição de implantação \mathbb E_{(x,y)\sim p_{deploy}}[\ell]. A mudança de covariáveis altera as entradas; a deriva conceitual altera o significado do rótulo. As estações do ano, revisões de hardware, regras operacionais, comportamento do usuário e falhas de sensores causam ambos os problemas. Mantenha a avaliação estratificada por tempo, região, atributo e dispositivo em vez de um teste fixo.

Implantação e tratamento de falhas

Antes da implantação, valide o esquema de entrada, as unidades, os intervalos, a presença de dados faltantes e as distribuições de recursos. Decida se uma saída inutilizável deve recorrer a uma previsão antiga, a uma regra ou a um humano. Monitore os ciclos de feedback: as recomendações alteram a exposição e os detectores alteram a frequência de inspeção, portanto, novos dados não são amostrados naturalmente.

Use contratos de dados, treinamento versionado e reproduzível, operação paralela, implementação em etapas, monitoramento de desempenho/equidade/latência e reversão instantânea. Para decisões de alto risco, mostre evidências, confiança e dados faltantes a uma pessoa, em vez de tornar o modelo a autoridade final.

1. Audite o limite de previsão e os recursos disponíveis.

2. Congele uma linha de base e um teste independente.

3. Mapeie as métricas para o custo do erro e os requisitos de segurança.

4. Teste dados faltantes, deslocamento e entrada adversária.

5. Inclua limites de monitoramento, parada e aprovação de retreinamento nas operações.

6. Fichas técnicas para conjuntos de dados

7. [Cartões do modelo] Para Relatórios de Modelo

Separar a incerteza das decisões

A probabilidade de um modelo não é uma ação. Para um alerta de manutenção, mapeie a probabilidade de falha para perda de parada, perda de falha e custo de inspeção antes de definir um limite. Se a taxa de falha base mudar, o melhor limite também muda. Verifique os diagramas de confiabilidade e a pontuação de Brier e ajuste a calibração de Platt ou isotônica somente em dados de validação; versione o calibrador com o modelo.

Os intervalos de previsão e a dispersão do conjunto são úteis, mas não são garantias. Entradas fora da distribuição, falhas de sensores e exemplos adversários podem comprometer a própria estimativa de incerteza. Passe a validade da entrada, o indicador de erro de leitura (OOD), a confiança e as regras de negócio como sinais separados; escolha a revisão humana ou um padrão seguro quando qualquer um deles for inseguro.

Escolher um regime de aprendizado

Compare o custo de adicionar rótulos com o custo de complicar o modelo. Agrupamentos não supervisionados não são automaticamente atributos humanos, e pseudo-rótulos fracos podem amplificar o viés. Rastreie quem mediu cada rótulo, quando e por qual procedimento.

Caso de falha: divisão aleatória conhece o futuro

Dividir aleatoriamente janelas de vibração sobrepostas de uma máquina coloca quase duplicatas nos conjuntos de treinamento e teste. Um código de manutenção atribuído após a falha ou uma média calculada ao longo de todo o período também vaza informações futuras. Divida por ID da máquina e tempo e recalcule os recursos a partir dos registros disponíveis no momento da previsão. Uma pontuação menor, porém honesta, está mais próxima da implantação do que uma pontuação inflada por vazamento.

Procedimento mínimo de implementação

1. Coloque usuários, alvo, limite de observação, ação e custo de erro em uma única tabela de especificação.

2. Audite a proveniência, o consentimento/direitos, o motivo da ausência de dados, as unidades, a frequência e o procedimento de rotulagem.

3. Corrija a divisão de grupo/tempo no código e verifique automaticamente hashes duplicados e interseções de IDs.

4. Mantenha regras e modelos simples como linhas de base e relate intervalos de confiança condicionais.

5. Salve o pré-processamento, o modelo, a calibração e o limite como um único pipeline; avalie os dados finais uma única vez.

6. Implemente versões de acompanhamento, lançamentos limitados e implantação em etapas, monitorando a qualidade da entrada, a latência, as recusas e os resultados subsequentes.

7. Documente o gatilho de retreinamento, o aprovador, a versão de reversão, a notificação de incidente e a condição de desativação.

O retreinamento não é uma melhoria automática. Compare os dados antigos e novos no mesmo conjunto fixo e adicione um conjunto de desafio para novos períodos e dispositivos. Analise o desempenho, a incerteza estatística, o custo computacional, a segurança e a carga operacional em conjunto.

• NIST AI Risk Management Framework
• Dívida Técnica Oculta em Sistemas de Aprendizado de Máquina