Introducción al aprendizaje automático: Estimación de la pose

La estimación de la pose puede inferir articulaciones 2D ((u,v)), articulaciones 3D, o la rotación del objeto (R) y la traslación (t). La proyección se puede escribir como\tilde p\sim K[R|t]P. La calibración, la oclusión, la ambigüedad izquierda-derecha y la alineación temporal son tan importantes como la arquitectura de la red.

Diagrama: Duskcoil, conceptual. No autoriza la identificación ni el uso para vigilancia.

Utilice mapas de calor o regresión de coordenadas, PnP y filtrado temporal. Evalúe el PCK, OKS o el error de reproyección por oclusión, iluminación, vestimenta, dispositivos de asistencia y datos demográficos. Para uso con personas, especifique el consentimiento, la limitación de la finalidad, la retención y la revisión humana para detectar errores.

• OpenPose
• [OpenCV] solvePnP](https://docs.opencv.org/4.x/d5/d1f/calib3d_solvePnP.html)

Métodos y sistemas de coordenadas

Para la pose humana en 2D, una red puede seleccionar el máximo de un mapa de calor para cada articulación, realizar una regresión directa de las coordenadas, estimar la posición de una persona a la vez tras su detección (de arriba hacia abajo) o asociar a todas las personas a partir de una imagen completa (de abajo hacia arriba). Para la pose de objetos en 6D, PnP estima la rotación y la traslación a partir de puntos 3D conocidos y correspondencias de imágenes. Una rotación R\in SO(3) obedece a R^TR=I,\det R=1; la regresión directa de ángulos de Euler presenta singularidades y discontinuidades, por lo que se utilizan cuaterniones normalizados o representaciones continuas en 6D.

Manejo de datos y fallos

Evalúe por separado la oclusión, la retroiluminación, los espejos, la presencia de varias personas, los dispositivos de asistencia, la ropa, la forma del cuerpo, la apariencia de la piel y la altura de la cámara. Un OKS medio alto no demuestra la peor latencia ni la tasa de fallos necesarias para la detección de caídas o la evitación colaborativa de robots. No reutilice puntos clave para la inferencia de identidad o emociones sin consentimiento. Defina la limitación de propósito, la retención, el control de acceso, la eliminación y los procedimientos de apelación.

En la implementación, calibre los parámetros intrínsecos y extrínsecos y documente el fotograma, la unidad, la marca de tiempo y el nivel de confianza. Cuando el nivel de confianza sea bajo, no considere la interpolación como la verdad absoluta: reduzca la velocidad del robot, deténgalo o solicite una revisión humana. El suavizado temporal reduce la fluctuación, pero añade retardo, que debe reflejarse en la distancia de frenado.

1. Defina las salidas, las tolerancias y la latencia para la tarea.

2. Divida la evaluación por atributos, oclusión y Iluminación.

3. Calibración de registros, transformaciones de coordenadas y valores atípicos de PnP.

4. Reglas de parada de prueba para baja confianza, pérdida de cámara y personas que se aproximan.

5. Evaluación de puntos clave de COCO

La calibración y el tiempo deben gestionarse fuera de la red

El error de pose no es solo un problema de la red. Una distancia focal o un punto principal incorrectos hacen que un punto visualmente correcto se vea mal en 3D. Mantenga el orden de distorsión, el redimensionamiento/recorte, el origen y la convención del centro del píxel idénticos en el entrenamiento y la inferencia. Los parámetros extrínsecos cambian con el movimiento y la vibración de la cámara, por lo que vuelva a comprobar el error de reproyección con respecto a un objetivo de referencia en lugar de confiar en una calibración indefinidamente.

Con varias cámaras o una IMU, verifique las marcas de tiempo antes de los fotogramas. Un fotograma de 30 fps con retraso puede mover considerablemente una mano o herramienta rápida. Almacene el tiempo del hardware, el tiempo de recepción, el tiempo de finalización de la inferencia y las muestras utilizadas para la interpolación. Una trayectoria suavizada perfecta aún puede llegar demasiado tarde para evitar colisiones.

Opciones de la canalización

Normalice el error 2D por tamaño del objetivo e indique las unidades 3D y el marco. Para objetos simétricos, la comparación con una rotación canónica puede marcar una pose físicamente correcta como incorrecta; utilice ADD-S con reconocimiento de simetría o reproyección y evalúe la holgura de agarre. Informe el percentil 95. Errores de detección, errores de alta confianza y latencia de extremo a extremo, además del error medio.

Caso de fallo: un espejo izquierda-derecha fiable

Los espejos, las vistas traseras y la autooclusión pueden hacer que un esqueleto con el lado izquierdo y derecho intercambiado sea geométricamente plausible. El suavizado puede bloquear el error durante muchos fotogramas. Combine la orientación, las señales visuales, las hipótesis múltiples y un límite de movimiento; no se base únicamente en las restricciones de longitud de los huesos. En aplicaciones de seguridad, la alta confianza no es prueba suficiente; utilice la detección de intercambio y la discrepancia con un sensor independiente como condiciones de parada.

Procedimiento de implementación reproducible

1. Fije los marcos de la imagen, la cámara, el mundo y el robot con un diagrama y datos de prueba.

2. Pruebe las transformaciones de puntos clave de ida y vuelta después del redimensionamiento, el relleno y el aumento, incluyendo un error subpíxel conocido.

3. Establezca el umbral y los puntos mínimos de PnP RANSAC; inspeccione los puntos de coincidencia, el error de reproyección y la profundidad positiva.

4. Registre imágenes estáticas, de marcha, de movimiento rápido y de oclusión. Casos de borde de imagen y pérdida de cámara con latencia.

5. Prueba de parada y reinicialización en caso de baja confianza, deformación repentina del esqueleto, deriva de calibración y tiempo invertido.

6. Documentar el propósito, el acceso, la retención, la anonimización y la eliminación si se almacenan los fotogramas originales.

La pose es una hipótesis de observación, no la identidad, la intención ni la condición de una persona. Transmitir el fotograma, el tiempo y la incertidumbre a los sistemas posteriores para que puedan tratar lo "desconocido" de forma segura.

• Calibración de cámara de OpenCV
• Prueba comparativa de pose de objeto BOP 6D

Auditorías operativas y de calidad de anotación

Las anotaciones también presentan incertidumbre. Los centros de las articulaciones bajo la ropa, las muñecas ocluidas y la orientación simétrica de los objetos varían entre los anotadores. Almacenar por separado los estados visibles, ocluidos y fuera del fotograma; conservar las discrepancias entre anotadores, las revisiones de definición y los puntos interpolados en lugar de introducir ambigüedad. Etiqueta rígida. Deje una imagen de reserva real para que el material sintético y las señales de iluminación no predominen.

Las operaciones se pueden supervisar sin conservar todas las imágenes indefinidamente. Agregue la confianza, el recuento de articulaciones faltantes, el error de reproyección, la latencia, el estado de la cámara y las paradas; conserve solo los datos de incidentes durante un período breve y con acceso controlado. Al actualizar el modelo, reproduzca videos idénticos y compare la duración de las pérdidas, los intercambios izquierda-derecha y el peor error en zonas peligrosas; luego, recalibre después de reemplazar la cámara.