Introducción al aprendizaje automático: Fundamentos — Diseño de datos, pérdida y generalización

El aprendizaje automático es la técnica de ajustar, a partir de datos, una función que transforma una entrada (x) en una predicción (\hat y=f_\theta(x)). Lo importante no es el nombre de un modelo de alta precisión, sino definir qué predecir, cómo medir el costo de los errores y si se pueden mantener las mismas condiciones en la implementación.

Fundamentos y división de datos

Minimizar la pérdida empírica en el conjunto de entrenamiento:

La entropía cruzada es representativa para la clasificación, mientras que el error cuadrático lo es para la regresión. Divida el entrenamiento, la validación y la prueba final por entidad, video o tiempo para evitar la fuga de duplicados e información futura. En el momento en que revise el conjunto de prueba y ajuste la configuración, este se convierte en un conjunto de validación y ya no puede medir la generalización.

Evaluación y seguridad

La precisión por sí sola es insuficiente para riesgos poco frecuentes; inspeccione la precisión, la exhaustividad, la calibración, el rendimiento de subgrupos, la latencia, la falta de entrada y el cambio de distribución. Los resultados de alto riesgo deben ser comunicados a una persona o a un plan B seguro, en lugar de convertirse en la autoridad final.

Referencias

• Evaluación del modelo scikit-learn
• Reglas de Google para el aprendizaje automático

De la definición del problema a las características

“Pronosticar la demanda” y “detectar anomalías” no son especificaciones. Defina quién, qué información está disponible en qué momento, la fecha límite y qué errores son aceptables. Una característica registrada después del tiempo objetivo t es una fuga. Ajuste las estadísticas de preprocesamiento, la imputación y el vocabulario solo con los datos de entrenamiento. La estandarización x'=(x-\mu)/\sigma solo es válida cuando \mu,\sigma se aprende a partir de la división del entrenamiento.

Una línea base es importante: el valor de ayer, una regla, una regresión lineal o un árbol pequeño que no puede ser superado por un modelo complejo no justifica el costo operativo. Compare la disponibilidad de características, la latencia, el tamaño del modelo, los responsables del mantenimiento y la recuperación ante fallos en la misma tabla que Precisión.

Generalización, sesgo y cambio

Una baja pérdida empírica no implica una baja pérdida esperada bajo la distribución de despliegue \mathbb E_{(x,y)\sim p_{deploy}}[\ell]. El cambio de covariables modifica las entradas; la deriva conceptual modifica el significado de las etiquetas. Las estaciones, las revisiones de hardware, las reglas operativas, el comportamiento del usuario y las fallas de los sensores provocan ambos. Mantenga una evaluación estratificada por tiempo, región, atributo y dispositivo en lugar de una prueba fija.

Despliegue y manejo de fallas

Antes del despliegue, valide el esquema de entrada, las unidades, los rangos, la falta de datos y las distribuciones de características. Decida si Un resultado inutilizable recurre a una predicción anterior, una regla o a una persona. Supervise los bucles de retroalimentación: las recomendaciones modifican la exposición y los detectores cambian la frecuencia de inspección, por lo que no se muestrean nuevos datos de forma natural.

Utilice contratos de datos, entrenamiento versionado y reproducible, operación en segundo plano, implementación por etapas, monitoreo de rendimiento/equidad/latencia y reversión instantánea. Para decisiones de alto riesgo, muestre evidencia, confianza y datos faltantes a una persona en lugar de que el modelo sea la autoridad final.

1. Audite el umbral de predicción y las características disponibles.

2. Congele una línea base y una prueba independiente.

3. Asigne métricas al costo de error y a los requisitos de seguridad.

4. Pruebe los datos faltantes, el cambio y los datos adversarios.

5. Incluya umbrales de monitoreo, detención y aprobación de reentrenamiento en las operaciones.

6. Hojas de datos para conjuntos de datos

7. Tarjetas de modelo para informes de modelos

Separe la incertidumbre de las decisiones

La probabilidad de un modelo no es una acción. Para una alerta de mantenimiento, Antes de establecer un umbral, mapee la probabilidad de falla con la pérdida de parada, la pérdida no detectada y el costo de inspección. Si la tasa de falla base cambia, el umbral óptimo también cambia. Verifique los diagramas de confiabilidad y la puntuación de Brier, y ajuste la calibración de Platt o isotónica solo con datos de validación; versione el calibrador con el modelo.

Los intervalos de predicción y la dispersión del conjunto son útiles, pero no son garantías. La entrada fuera de distribución, la falla del sensor y los ejemplos adversarios pueden afectar la estimación de la incertidumbre. Transmita la validez de la entrada, el indicador OOD, la confianza y las reglas de negocio como señales separadas; elija la revisión humana o un valor predeterminado seguro cuando alguno sea inseguro.

Elección de un régimen de aprendizaje

Compare el costo de agregar etiquetas con el costo de complicar el modelo. Los clústeres no supervisados no son automáticamente atributos humanos, y las pseudoetiquetas débiles pueden amplificar el sesgo. Registre quién midió cada etiqueta, cuándo y mediante qué procedimiento.

Caso de falla: la división aleatoria conoce el futuro

Dividir aleatoriamente ventanas de vibración superpuestas de una máquina coloca datos casi duplicados en entrenamiento y prueba. Un código de mantenimiento asignado después de una falla o una media calculada durante todo el período también filtra información futura. Divida por ID de máquina y tiempo, y recalcule las características a partir de los registros disponibles en el momento de la predicción. Una puntuación más baja pero honesta está más cerca de la implementación que una puntuación inflada por la filtración.

Procedimiento mínimo de implementación

1. Coloque los usuarios, el objetivo, el umbral de observación, la acción y el costo del error en una tabla de especificaciones.

2. Auditar la procedencia, el consentimiento/derechos, el motivo de la falta de datos, las unidades, la frecuencia y el procedimiento de etiquetado.

3. Corregir la división de grupos/tiempos en el código y verificar automáticamente los hashes duplicados y las intersecciones de ID.

4. Mantener las reglas y los modelos simples como referencia e informar los intervalos de confianza condicionales.

5. Guardar el preprocesamiento, el modelo, la calibración y el umbral como una sola canalización; evaluar los datos finales una sola vez.

6. Implementar versiones de prueba, limitadas y por etapas, supervisando la calidad de la entrada, la latencia, el rechazo y los resultados posteriores.

7. Documentar el desencadenante del reentrenamiento, el aprobador, la versión de reversión, el aviso de incidente y la condición de retiro.

El reentrenamiento no es una mejora automática. Comparar las versiones antiguas y nuevas en el mismo conjunto fijo y agregar un conjunto de desafío para nuevos períodos y dispositivos. Revisar el rendimiento, la incertidumbre estadística, el costo computacional, la seguridad y la carga operativa en conjunto.

• Marco de Gestión de Riesgos de IA del NIST
• Deuda Técnica Oculta en Sistemas de Aprendizaje Automático