画像から特徴、動き、幾何、カメラ姿勢を読み取る方法を、Visual SLAMと関連づけて体系的に解説します。
以下は編集したおすすめの順番です。初めての方は1から、目的が決まっている方は必要な記事へ進んでください。
カメラキャリブレーションは、画素座標と3次元空間を対応づけるために内部パラメータとレンズ歪みを求める処理である。ピンホールモデルの再確認から、半径方向・接線方向歪みモデル、Zhangの平面パターン法、再投影誤差の最適化、そしてVisual SLAMやVOでキャリブレーションがずれると何が壊れるかまでを数式と図で体系的に解説する。
画像の中から「もう一度見つけられる場所」を選び、対応付けに使う特徴点抽出。コーナー、Blob、DoG、FAST、ORB、SIFTの原理から、頑健性、評価、現行ツールと学習ベース手法までを一つにつなげて解説する。
特徴点追跡は、連続画像の同じ物理点をフレーム間で対応付ける処理である。テンプレート追跡、Lucas–Kanade光学フロー、記述子マッチング、RANSAC、外れ値除去、カルマン予測を数式と実装手順で整理し、Visual OdometryやSLAMで破綻する条件と改善策を解説する。
Optical Flowは、連続画像の各画素がどの方向へ動いたかを表すベクトル場である。輝度一定の拘束、Lucas–KanadeとHorn–Schunck、ピラミッド、密なフローと疎な特徴追跡、RAFTなど学習ベース手法、カメラ運動・動的物体・評価方法を数式で解説する。
ホモグラフィは、同一平面上の点、または純回転するカメラの視野を1枚の3x3射影変換で結びつける関係式である。DLT法による推定、RANSACによるロバスト化、回転・並進・平面法線への分解、エピポーラ幾何との使い分けを、画像スティッチングやAR平面追跡への応用とあわせて数式と図で解説する。
エピポーラ幾何は、同じ3次元点が二つの画像にどう写るかを拘束する理論である。Fundamental MatrixとEssential Matrix、8点法・5点法、RANSAC、三角測量、ホモグラフィとの選択、校正、OpenCV/COLMAP実装、失敗条件と近年の学習ベース推定を、数式と図で体系的に解説する。
Perspective-n-Point（PnP）は、既知の3次元点と画像上の対応点からカメラの位置・姿勢を推定する幾何問題である。投影式、P3P/AP3P、EPnP、反復最適化、RANSAC、平面退化、Visual SLAM・AR・測量での使い分けを数式と実装手順で解説する。
Structure from Motion（SfM）は、順序も撮影位置も分からない複数枚の写真から、シーンの3次元構造とすべてのカメラ姿勢を同時に復元する技術である。特徴マッチング、幾何検証、Incremental/Global SfMという二つの再構成戦略、三角測量、Bundle Adjustmentとの関係、そしてVisual-SLAMとの違いを、COLMAPなど現行実装とあわせて体系的に解説する。
バンドル調整（Bundle Adjustment）は、多数のカメラ姿勢と3D点を同時に動かし、全観測の再投影誤差を最小化する非線形最小二乗問題である。なぜヤコビアンが疎になるのか、Schur補行列がなぜ大規模問題を解けるようにするのか、Levenberg-Marquardt法の役割、ゲージ自由度、そしてPose Graph最適化やSfMとの関係を、式と図で体系的に解説する。
Multi-View Stereo（MVS）は、既知のカメラ姿勢を使って多数の画像から密な3D形状を復元する技術である。光度一貫性という基本原理、Plane-SweepとPatch-based（PMVS）という二つの古典的アプローチ、MVSNetに代表される深層学習ベース手法、深度マップ融合によるメッシュ化までを、ステレオカメラ・デプスカメラとの関係とあわせて式と図で体系的に解説する。
Visual Odometry（VO）とVisual-Inertial Odometry（VIO）は、連続画像と慣性計測からロボットやカメラの相対運動を推定する技術である。単眼のスケール不定性、IMU事前積分、初期化、フィルタと最適化、VINS-Mono・OpenVINSなどの実装、評価指標、失敗条件を数式と図で整理する。
Loop Closure（閉ループ検出）は、ロボットが以前に訪れた場所へ戻ったことを認識し、蓄積した自己位置誤差を地図全体へ配分して補正する処理である。場所認識、画像検索、幾何検証、Pose Graph最適化、誤検出対策、現行SLAM実装と研究を体系的に解説する。
GPSも地図もない場所で、カメラ映像だけを頼りに自分の位置と周囲の地図を同時に求める技術がVisual-SLAMである。特徴点の追跡からEpipolar幾何、Visual Odometryとの違い、ORB-SLAM/LSD-SLAM/DSOに至る代表アルゴリズムの系譜、Bundle Adjustmentまで、Visual-SLAMの仕組みを土台から体系的に整理する。