Introdução à Aprendizagem de Máquina: Noções Básicas de Redes Neurais

A camada l pode ser escrita como h_{l+1}=\phi(W_lh_l+b_l). Sem a transformação não linear \phi, as camadas empilhadas se reduzem a uma única transformação linear. O aprendizado retropropaga o gradiente da função de perda L e atualiza através de \theta\leftarrow\theta-\eta\nabla_\theta L.

Diagrama: Duskcoil, conceitual em vez de uma arquitetura medida específica.

Ativação, normalização, conexões residuais e atenção alteram a representação e a otimização. Aumento de dados, decaimento de peso, parada antecipada e divisão válida ajudam a monitorar a generalização; Uma perda de treinamento menor não garante segurança ou imparcialidade.

• Livro de Aprendizado Profundo
• Autogradação em PyTorch

Perdas, camadas de saída e estabilidade numérica

Colocar uma função softmax no final de um classificador transforma a probabilidade da classe k em p_k=\exp z_k/\sum_j\exp z_j. Com o rótulo verdadeiro como one-hot y, a entropia cruzada é L=-\sum_k y_k\log p_k. Implementações evitam calcular \exp z diretamente, em vez de usar um truque de log-sum-exp que subtrai o logit máximo — isso evita que o expoente estoure em logits grandes e transforme a perda em NaN. Para regressão, o erro quadrático, que é sensível a outliers, não é a única opção: a perda de Huber também é uma candidata. Uma perda não é apenas "uma expressão que torna um número pequeno" — é uma especificação de quais erros operacionais devem ser penalizados mais severamente.

A otimização de mini-lotes introduz ruído de amostragem. Otimizadores adaptativos como o Adam podem facilitar o treinamento inicial, mas a taxa de aprendizado, a regularização de peso, o tamanho do lote e o agendamento afetam a generalização. Fixar apenas uma semente aleatória é insuficiente quando os kernels da GPU, a ordem dos dados, o pré-processamento e as versões da biblioteca diferem. Arquive os dados, o código, o ambiente, os pesos e o código de avaliação em uma única versão.

Comparando arquiteturas comuns

Uma arquitetura mais elaborada não consegue corrigir um rótulo ambíguo. Um rótulo de falha criado após a manutenção, por exemplo, pode permitir a entrada de campos pós-evento no treinamento. A precisão offline mede, então, o acesso ao futuro. O treinamento e o fornecimento devem compartilhar o código do recurso, e cada recurso deve ser auditado quanto à disponibilidade no prazo de previsão.

Exemplo de falha: a ilusão de alta precisão

Dividir imagens aleatoriamente pode colocar o mesmo produto, fundo ou quadros de vídeo adjacentes nos conjuntos de treinamento e teste. A rede, então, memoriza as condições de aquisição. Vazamentos semelhantes ocorrem com médias móveis futuras, pacientes ou máquinas repetidos e locais geográficos vizinhos. Exclua períodos futuros, instalações independentes, dispositivos ou entidades.

Um segundo erro é tratar uma probabilidade como uma Decisão. Uma pontuação de 0,9 não é automaticamente perigosa. Verifique se os exemplos com pontuação próxima a 0,9 são positivos com uma frequência semelhante e, em seguida, escolha os limiares com base nos custos de falso alarme, erro e revisão. Forneça um caminho de abstenção quando a qualidade da entrada for inadequada ou o caso estiver fora da distribuição.

Procedimento de implementação

1. Defina o tempo de predição, a população, o rótulo, o limite de latência e os custos de erro.

2. Congele as divisões com reconhecimento de entidade, tempo e localização; ajuste o pré-processamento apenas nos dados de treinamento.

3. Compare um modelo linear ou uma pequena MLP na mesma divisão e com as mesmas métricas.

4. Registre as perdas, a taxa de aprendizado, as normas do gradiente, os NaNs, as lacunas entre treinamento e validação e o desempenho segmentado.

5. Injete dados faltantes, ruído, latência e entradas fora da distribuição; teste a abstenção e o rollback.

Torne os gradientes observáveis

Quando o treinamento falhar, inspecione primeiro os dados e o caminho do gradiente. Tente memorizar um pequeno lote; a falha geralmente revela rótulos deslocados, uma máscara incorreta, um erro de dimensão ou Uso indevido da API de perda. Em seguida, registre as ativações por camada, as normas de gradiente e as magnitudes de atualização. Valores nulos nas camadas inferiores sugerem perda de gradiente, crescimento repentino sugere divergência e atualizações zero sugerem um grafo desconectado ou um parâmetro congelado.

A inicialização visa manter a variância do sinal utilizável entre as camadas. A inicialização He é um ponto de partida comum para famílias ReLU e a inicialização Xavier para tanh, mas a normalização e as conexões residuais alteram o comportamento real. O recorte de gradiente é um limite de emergência, não uma maneira de ocultar perda malformada ou escalonamento de entrada. Sob precisão mista, compare uma pequena execução float32 e monitore o escalonamento da perda, estouro e subfluxo.

Uma unidade justa de experimento

Compare distribuições de sementes, curvas de aprendizado e orçamentos computacionais em vez de uma única melhor pontuação. Contagens iguais de parâmetros não criam uma comparação justa quando o pré-processamento, o pré-treinamento, o aumento de dados ou o pós-processamento diferem. Nunca reajuste um limite no conjunto de teste. Para desequilíbrio, mantenha as métricas macro e por classe; quando as probabilidades orientam as decisões, inspecione também Calibração.

Exemplo de falha: contaminação da validação

Escolher arquiteturas, aumento de dados e sementes após dezenas de verificações de validação causa sobreajuste no conjunto de validação. Avalie um conjunto de teste intocado uma única vez e registre a contagem de buscas e a regra de seleção. A divisão em nível de arquivo ainda é inválida se quadros adjacentes de um vídeo forem divididos. Divida pela entidade que determina a independência: paciente, veículo, lote de produção ou sessão de gravação.

Lista de verificação pré-implantação

1. Compare casos representativos com cálculos manuais ou uma implementação confiável.

2. Automatize Testes de sobreajuste em pequenos lotes, gradiente finito e equivalência de salvar/recarregar.

3. Comparar modelos de referência, candidatos e quantizados com a mesma entrada e temporizador.
4. Incluir valores de rejeição e comportamento alternativo para entradas inválidas, ausentes ou atrasadas no contrato da API.
5. Vincular modelo, dados, commit de código, dependências e avaliação em um único registro de versão.

A engenharia de redes neurais consiste em tornar mensurável o caminho dos dados à decisão. Adicione complexidade uma alteração por vez, para que uma melhoria tenha uma explicação e um incidente tenha um ponto de reversão conhecido.

• NIST AI Risk Management Framework
• Google Rules of Machine Learning
• PyTorch Reproducibility Notes
• NIST AI 100-1