Guide pratique du suivi de caractéristiques — Comment éviter de perdre le même point entre les images

Si la détection de caractéristiques consiste à déterminer « où dans l'image utiliser un point de repère », le suivi de caractéristiques consiste à trouver « où ce point de repère s'est déplacé dans l'image suivante ». Un suivi stable permet d'estimer le mouvement de la caméra, la vitesse d'un objet ou l'autolocalisation d'un robot. À l'inverse, une seule erreur de correspondance peut entraîner l'effondrement immédiat de l'estimation de pose et de la carte. Cet article considère la différence entre détecteurs et descripteurs comme acquise et traite l'optimisation locale du mouvement des pixels et la mise en correspondance des descripteurs comme un seul et même problème de conception.

0. Résumé en 30 secondes

• Il existe deux approches pour le suivi : « rechercher dans l'image suivante la zone entourant l'image précédente » et « détecter et calculer les descripteurs dans chaque image, puis les mettre en correspondance ».

• La méthode de Lucas-Kanade suppose une luminosité constante, un mouvement local et une vitesse partagée entre les pixels voisins, et résout un système d'équations normales 2×2. L'utilisation d'une pyramide permet de gérer les grands déplacements.

• La correspondance de descripteurs peut effectuer une nouvelle recherche même sur de grands intervalles entre les images, mais au prix d'une puissance de calcul accrue et d'un risque plus élevé d'erreurs. Il est recommandé de vérifier géométriquement ce comportement à l'aide du test de ratio, de la méthode des plus proches voisins mutuels et de RANSAC.

• La qualité du suivi doit être évaluée non seulement par le nombre de correspondances, mais aussi par leur distribution spatiale dans l'image, l'erreur de reprojection, la cohérence avant/arrière et le taux de récupération après occlusion.

• Les cas les plus difficiles sont le flou de mouvement, les textures peu marquées, les reflets, les objets dynamiques, l'effet de rolling shutter et les changements d'échelle brusques. Un score de confiance et un mécanisme de redétection sont essentiels.

1. Pourquoi les points de l'image semblent-ils bouger ?

Diagram 1 · Use the button to switch views

Figure 1 — Une correspondance est une hypothèse tant que son mouvement ne concorde pas avec celui des points voisins et le modèle de la caméra. La couverture spatiale est aussi importante que le nombre de correspondances brutes.

Un point 3D X est projeté en \mathbf{x}=(x,y) sur l'image lors du mouvement de la caméra. Avec un intervalle d'images \Delta t, le but du suivi est de trouver le déplacement \mathbf{d}_k dans

Lorsque la caméra se déplace, la vitesse apparente varie avec la profondeur ; lorsqu'elle pivote, l'image entière se déplace dans la même direction. La simple soustraction d'images consécutives est sensible aux variations d'éclairage et au bruit d'exposition. On utilise donc la structure locale des patchs.

2. Lucas–Kanade : Résolution d'une petite fenêtre en une seule étape

L'hypothèse de constance de la luminosité est :

La linéarisation pour les petits déplacements (u,v) donne l'équation de contrainte du flux optique :

Pour un pixel donné, il s'agit d'une équation à deux inconnues (problème d'ouverture). Les pixels d'une fenêtre W sont donc regroupés, et la méthode des moindres carrés

est résolue. Le terme entre crochets représente la matrice de structure locale du point caractéristique ; plus le gradient est important dans deux directions, à un coin, plus l'inversibilité est stable. Sur une paroi plane ou un bord, le mouvement ne peut être déterminé de manière unique.

Pour gérer les grands déplacements, le déplacement est propagé du niveau grossier d'une pyramide à échelle réduite jusqu'au niveau fin. À chaque niveau, plusieurs itérations sont effectuées avant… Recalcul à la position suivante. En pratique, vous ajustez la profondeur de la pyramide, la taille de la fenêtre, les critères d'arrêt, la valeur propre minimale et l'erreur de suivi avant-arrière.

3. Choisir entre cette méthode et la correspondance de descripteurs

Les descripteurs comme ORB ou SIFT convertissent la zone environnante en un vecteur ou une chaîne binaire, et sélectionnent le candidat le plus proche comme correspondance. Pour les petits mouvements entre images consécutives, Lucas-Kanade est rapide, mais la nouvelle correspondance de descripteurs devient précieuse pour compenser une occlusion, sauter des images ou lorsque la caméra se déplace de manière significative.

Appariement SIFT | Descripteurs issus de 2 images | Robustesse à l'échelle/rotation | Calcul, mémoire | SfM, recherche d'images |

Apprentissage automatique | Points, descripteurs, algorithme d'appariement | Potentiellement robuste aux changements d'apparence importants | Données d'entraînement externes, charge GPU | Environnements difficiles, recherche |

Ne retenir que le descripteur candidat le plus proche peut entraîner des erreurs d'appariement dues à des motifs similaires. L'utilisation du test de ratio (d_1/d_2\lt\tau) entre la distance la plus proche (d_1) et la deuxième plus proche (d_2), ainsi que la vérification des plus proches voisins mutuels (A→B et B→A), sont utiles. Enfin, une vérification avec RANSAC, utilisant l'erreur de reprojection d'une matrice fondamentale, d'une homographie ou d'un PnP estimé à partir des correspondances, est recommandée.

4. Quantification de la confiance du suivi

En pratique, considérer que le suivi a réussi simplement parce qu'un point a été renvoyé est insuffisant. L'enregistrement des informations suivantes permet de… Isoler la cause d'une panne :

• Valeur propre minimale et résidu de LK
• Différence entre le suivi avant et arrière (erreur avant-arrière)
• Distribution du ratio de descripteurs et de la distance
• Ratio d'inliers RANSAC et erreur de reprojection
• Distribution spatiale des points sur l'image (sont-ils regroupés uniquement au centre ?)
• Déplacement inter-images moyen, métrique de flou, exposition/gain

Même avec un ratio d'inliers RANSAC élevé, si tous les points sont regroupés dans un coin de l'image, l'estimation de pose se dégrade. Limiter le nombre maximal de points par cellule de la grille et répartir les points caractéristiques sur tout le champ de vision améliore l'observabilité de la rotation et de la translation. Il est parfois préférable de conserver un petit nombre de correspondances réparties dans différentes directions et à différentes distances plutôt que d'augmenter simplement le nombre de points.

5. Objets en mouvement et obturateur roulant

L'odométrie visuelle suppose un environnement statique pour estimer le mouvement de la caméra. Lorsque de nombreux piétons, voitures ou un ventilateur en rotation apparaissent dans le champ de vision, leurs correspondances deviennent des valeurs aberrantes incompatibles avec le modèle de mouvement de la caméra. Il y a trop d'objets dynamiques pour que RANSAC puisse les éliminer seul ; il est donc nécessaire de combiner le masquage sémantique, le regroupement par flux optique, la modélisation de l'arrière-plan et la cohérence de profondeur.

L'obturateur roulant d'une caméra CMOS expose l'image ligne par ligne, de haut en bas, à des instants légèrement différents. En cas de rotation rapide ou de vibration, la pose de la caméra change ligne par ligne, même au sein d'une même image, invalidant ainsi l'hypothèse d'un modèle de projection unique. Les solutions incluent la correction du décalage temporel des lignes à l'aide de la vitesse angulaire de l'IMU, l'obturateur global, une exposition courte et l'étalonnage du temps de lecture.

6. Flux d'une implémentation minimale

1. Étalonner la caméra en tenant compte des paramètres intrinsèques, de la distorsion et des horodatages.

2. Détecter les vecteurs FAST/ORB ou Shi-Tomasi dans l'image initiale et égaliser spatialement à l'aide d'une grille.

3. Sur chaque nouvelle image, effectuer un suivi par LK pyramidal, en vérifiant l'erreur avant-arrière et les limites de l'image.

4. Supprimer les points de faible confiance et détecter les nouveaux points dans les cellules de la grille sous-représentées.

5. Effectuer la correspondance des descripteurs aux endroits nécessaires. Intervalle, suppression des valeurs aberrantes avec RANSAC.

6. Transmettre les correspondances restantes à une étape de fusion par matrice essentielle, PnP ou IMU.

7. En cas de perte continue de points, réinitialiser le suivi et consigner l'état et la cause.

Décider de la reprise du suivi

Lorsqu'une occlusion ou un changement d'exposition réduit temporairement le nombre de points, l'extrapolation de chaque ancienne position peut transformer une correspondance erronée en un suivi stable. Vérifier d'abord le numéro d'image, les horodatages, les limites de l'image et l'erreur avant-arrière, puis supprimer les candidats hors de la zone de fonctionnement. Même un nombre suffisant de points est risqué si tous les points restants occupent une petite région de l'image ; arrêter l'estimation de pose, effectuer une nouvelle détection par cellule de grille et séparer l'arrière-plan statique des objets en mouvement avant de réajuster le modèle géométrique. L'enregistrement de ces opérations sous forme de machine à états avec les états « suivi » et « réinitialisation » permet de distinguer les données manquantes d'une correspondance incorrecte.

En pratique, associer un numéro d'image et un horodatage d'observation à chaque correspondance afin d'éviter que le délai de traitement ne mélange un ancien point avec une image plus récente. En cas de mouvement brusque de la caméra, vérifier si le déplacement est toujours stable. L'ajustement se fait au niveau de pyramide et à la fenêtre les plus grossiers. Si ce n'est pas le cas, il est plus sûr de passer à une nouvelle recherche de descripteurs plutôt que d'élargir la fenêtre jusqu'à convergence sur un autre modèle. Les candidats réexaminés doivent toujours réussir les tests de résidus épipolaires ou d'homographie et de cohérence avant-arrière. Si des objets en mouvement sont suivis délibérément, conservez les points de mouvement de la caméra et les points de suivi d'objet dans des ensembles séparés ; ne réutilisez pas les décisions aberrantes d'un ensemble pour l'autre. Rejouez les journaux avec des changements d'éclairage, des occlusions et des délais de communication pour tester la récupération à ces limites.

7. Conclusion

Le suivi de caractéristiques est une technologie qui traite le détecteur, l'optimisation locale, la correspondance des descripteurs et la vérification géométrique comme un seul problème de conception de confiance. LK relie de manière fluide les images consécutives, les descripteurs se rétablissent des changements importants et RANSAC élimine les inadéquations géométriques. Plutôt que de dépendre d'un seul de ces éléments, la conservation de journaux incluant la distribution des points, la synchronisation temporelle, les objets dynamiques et l'effet de rolling shutter améliore considérablement la reproductibilité du SLAM visuel et du VIO.

Références

• OpenCV — Flux optique / Lucas-Kanade

• OpenCV — Appariement de caractéristiques

• Bouguet, Implémentation pyramidale du traqueur de caractéristiques affine de Lucas-Kanade

• Article ORB-SLAM3

• Article VINS-Mono

Suivre ces points entre deux images dans le Lab de flux optique.