Introducción al seguimiento de características: cómo evitar perder el mismo punto entre fotogramas.

Si la detección de características es el proceso de decidir "dónde usar un punto de referencia en la imagen", el seguimiento de características es el proceso de encontrar "a dónde se movió ese punto de referencia en el siguiente fotograma". Un seguimiento estable permite estimar el movimiento de la cámara, la velocidad del objeto o la autolocalización de un robot. Por el contrario, un error en una sola correspondencia puede provocar que la estimación de la pose y el mapa subsiguientes colapsen simultáneamente. Este artículo considera la diferencia entre detectores y descriptores como un hecho, y aborda tanto la optimización local del movimiento de píxeles como la coincidencia de descriptores como un único problema de diseño.

0. Resumen de 30 segundos

• Existen dos enfoques para el seguimiento: "buscar en el siguiente fotograma el parche circundante del fotograma anterior" y "detectar y calcular descriptores en cada fotograma y compararlos".

• El método de Lucas-Kanade asume constancia de brillo, movimiento local y velocidad compartida entre píxeles vecinos, y resuelve un sistema de ecuaciones normales de 2×2. El uso de una pirámide lo extiende para manejar grandes desplazamientos.

• La coincidencia de descriptores puede realizar búsquedas incluso en grandes intervalos entre fotogramas, pero a costa de un mayor consumo de recursos computacionales y un mayor número de discrepancias. Verifique geométricamente con la prueba de razón, los vecinos más cercanos mutuos y RANSAC.

• La calidad del seguimiento debe evaluarse no solo por el número de correspondencias, sino también por la distribución espacial en la imagen, el error de reproyección, la consistencia hacia adelante y hacia atrás, y la tasa de recuperación tras la oclusión.

• Los casos más difíciles son el desenfoque por movimiento, la baja textura, los reflejos, los objetos dinámicos, el efecto de obturador rodante y los cambios repentinos de escala. Un índice de confianza y un mecanismo de redetección son esenciales.

1. ¿Por qué parecen moverse los puntos de la imagen?

Diagram 1 · Use the button to switch views

Figura 1: Una correspondencia es una hipótesis hasta que su movimiento coincide con el de los puntos vecinos y el modelo de la cámara. La cobertura espacial es tan importante como el número de coincidencias.

Un punto 3D X se proyecta a \mathbf{x}=(x,y) en la imagen bajo el movimiento de la cámara. Con un intervalo de fotogramas \Delta t, el objetivo del seguimiento es encontrar el desplazamiento \mathbf{d}_k en

Cuando la cámara se traslada, la velocidad aparente varía con la profundidad; cuando rota, toda la imagen se mueve en la misma dirección. La simple resta de imágenes consecutivas es vulnerable a los cambios de iluminación y al ruido de exposición, por lo que se requiere un análisis local. En su lugar, se utiliza una estructura de parches.

2. Lucas-Kanade: Resolución de una ventana pequeña de una sola vez

La suposición de constancia de brillo es:

La linealización para pequeños desplazamientos (u,v) da como resultado la ecuación de restricción de flujo óptico:

En un solo píxel, esta es una ecuación para dos incógnitas (el problema de la apertura). Por lo tanto, los píxeles dentro de una ventana W se agrupan y se resuelve el método de mínimos cuadrados:

El término entre corchetes es la matriz de estructura local del punto característico: cuanto mayor sea el gradiente en dos direcciones en una esquina, más estable será su invertibilidad. En una pared plana o un borde único, el movimiento no se puede determinar de forma unívoca.

Para manejar grandes desplazamientos, el desplazamiento se propaga desde el nivel grueso de una pirámide reducida hasta el nivel fino. En cada nivel, se ejecutan varias iteraciones antes de Recalculando en la siguiente posición. En la implementación, se ajustan la profundidad de la pirámide, el tamaño de la ventana, los criterios de terminación, el valor propio mínimo y el error de seguimiento hacia adelante y hacia atrás.

3. Elegir entre este método y la coincidencia de descriptores

Los descriptores como ORB o SIFT convierten el parche circundante en un vector o cadena de bits y toman el candidato de menor distancia como correspondencia. Para pequeños movimientos entre fotogramas consecutivos, Lucas-Kanade es rápido, pero la re-coincidencia de descriptores resulta valiosa al recuperarse de la oclusión, saltar fotogramas o cuando la cámara se mueve sustancialmente.

Tomar solo el descriptor candidato de menor distancia permite que se produzcan desajustes entre patrones similares. Requerir d_1/d_2\lt\tau (la prueba de razón) entre la distancia más cercana d_1 y la segunda más cercana d_2, y verificar además los vecinos más cercanos mutuos de A→B y B→A, ayuda. Finalmente, verifique con RANSAC utilizando el error de reproyección de una matriz fundamental, homografía o PnP estimado a partir de las correspondencias.

4. Cuantificación de la confianza del seguimiento

En la implementación, considerar que "el seguimiento fue exitoso" simplemente significa "se devolvió un punto". No basta con registrar lo siguiente. Permite aislar la causa de un fallo:

• Autovalor mínimo y residuo de LK
• Diferencia entre el seguimiento hacia adelante y hacia atrás (error hacia adelante-hacia atrás)
• Distribución de la relación de descriptores y la distancia
• Relación de inliers de RANSAC y error de reproyección
• Distribución espacial de los puntos en la imagen (¿se agrupan solo en el centro?)
• Desplazamiento medio entre fotogramas, métrica de desenfoque, exposición/ganancia

Incluso con una alta relación de inliers de RANSAC, si todos los puntos se agrupan en una esquina de la imagen, la estimación de la pose se degrada. Limitar el número máximo de puntos por celda de la cuadrícula y distribuir los puntos característicos por todo el campo de visión mejora la observabilidad de la rotación y la traslación. A veces, mantener un número reducido de correspondencias distribuidas en diferentes direcciones y distancias es mejor que simplemente aumentar el número de puntos.

5. Objetos en movimiento y obturador rodante

La odometría visual asume un entorno estático para estimar el movimiento de la cámara. Cuando aparecen muchos peatones, coches o un ventilador giratorio en el encuadre, sus correspondencias se vuelven problemáticas. Valores atípicos inconsistentes con el modelo de movimiento de la cámara. Cuando hay demasiados objetos dinámicos para que RANSAC los elimine por sí solo, combine el enmascaramiento semántico, la agrupación por flujo óptico, el modelado de fondo y la consistencia de profundidad.

El obturador rodante de una cámara CMOS expone la imagen fila por fila, de arriba abajo, en momentos ligeramente diferentes. Bajo rotación o vibración rápidas, la pose de la cámara cambia fila por fila incluso dentro de un mismo fotograma, lo que invalida la suposición de un único modelo de proyección. Las medidas de mitigación incluyen la corrección de la temporización de filas mediante la velocidad angular de la IMU, el obturador global, la exposición corta y la calibración del tiempo de lectura.

6. Flujo de una implementación mínima

1. Calibrar la cámara junto con los parámetros intrínsecos, la distorsión y las marcas de tiempo.

2. Detectar FAST/ORB o Shi-Tomasi en el fotograma inicial y ecualizar espacialmente mediante una cuadrícula.

3. En cada nuevo fotograma, realizar el seguimiento con LK piramidal, comprobando el error hacia adelante y hacia atrás y los límites de la imagen.

4. Descartar los puntos de baja confianza y detectar nuevos puntos en áreas poco pobladas. Celdas de la cuadrícula.

5. Ejecute la coincidencia de descriptores en el intervalo necesario, eliminando los valores atípicos con RANSAC.

6. Pase las correspondencias restantes a un paso de fusión de Essential Matrix, PnP o IMU.

7. Si se pierden puntos continuamente, reinicie y registre el estado y la causa del seguimiento.

Decidir cuándo reanudar el seguimiento

Cuando la oclusión o un cambio de exposición reducen temporalmente el número de puntos, extrapolar cada posición antigua puede convertir una correspondencia errónea en un seguimiento aparentemente estable. Primero, verifique el número de fotograma, las marcas de tiempo, los límites de la imagen y el error de avance-retroceso; luego, elimine los candidatos que se encuentren fuera del rango operativo. Incluso un recuento suficiente es inseguro cuando todos los puntos restantes ocupan una pequeña región de la imagen; detenga la estimación de pose, vuelva a detectar por celda de la cuadrícula y separe el fondo estático de los objetos en movimiento antes de reajustar el modelo geométrico. Registrar esto como una máquina de estados con estados de "seguimiento" y "reinicialización" permite distinguir los datos faltantes de una coincidencia incorrecta.

En la implementación, asigne un número de fotograma y una marca de tiempo de observación a cada correspondencia para que el retraso en el procesamiento no pueda mezclar un punto antiguo con uno nuevo. Cuando la cámara se mueve bruscamente, compruebe si el desplazamiento aún se ajusta al nivel de pirámide y ventana más gruesos. Si no es así, es más seguro cambiar a la búsqueda de descriptores que ampliar la ventana hasta que converja en otro patrón. Los candidatos revisados deben seguir superando las comprobaciones de residuos epipolares u homográficos y la consistencia hacia adelante y hacia atrás. Si se rastrean objetos en movimiento deliberadamente, mantenga los puntos de movimiento de la cámara y los puntos de seguimiento de objetos en conjuntos separados; no reutilice las decisiones atípicas de un conjunto para el otro. Reproduzca los registros con cambios de iluminación, oclusión y retardo de comunicación para probar la recuperación en estos límites.

7. Conclusión

El seguimiento de características es una tecnología que trata el detector, la optimización local, la coincidencia de descriptores y la verificación geométrica como un único problema de diseño de confianza. LK enlaza fluidamente fotogramas consecutivos, los descriptores se recuperan de grandes cambios y RANSAC filtra las discrepancias geométricas. En lugar de depender de cualquiera de estos, mantener registros que incluyan la distribución de puntos, la sincronización temporal, los objetos dinámicos y el obturador rodante mejora sustancialmente la reproducibilidad de Visual SLAM y VIO.

Referencias

• OpenCV — Flujo óptico / Lucas-Kanade
• OpenCV — Coincidencia de características
• Bouguet, Implementación piramidal del rastreador de características afín Lucas-Kanade
• Artículo ORB-SLAM3
• Artículo VINS-Mono

Sigue estos puntos entre dos imágenes en el Lab de flujo óptico.