Pengantar Pembelajaran Mesin: Estimasi Pose

Estimasi pose dapat menyimpulkan sendi 2D (u,v), sendi 3D, atau rotasi objek R dan translasi t. Proyeksi dapat ditulis \tilde p\sim K[R|t]P. Kalibrasi, oklusi, ambiguitas kiri-kanan, dan penyelarasan waktu sama pentingnya dengan arsitektur jaringan.

Diagram: Duskcoil, konseptual. Ini tidak mengizinkan penggunaan identifikasi atau pengawasan.

Gunakan heatmap atau regresi koordinat, PnP, dan penyaringan temporal. Evaluasi PCK, OKS, atau kesalahan reproyeksi berdasarkan oklusi, pencahayaan, pakaian, alat bantu, dan demografi. Untuk penggunaan yang berhadapan dengan orang, tentukan persetujuan, batasan tujuan, retensi, dan tinjauan manusia untuk kesalahan.

• OpenPose
• OpenCV solvePnP

Metode dan kerangka koordinat

Untuk pose manusia 2D, jaringan dapat memilih maksimum dari peta panas untuk setiap sendi, meregresikan koordinat secara langsung, memperkirakan satu orang pada satu waktu setelah deteksi (top-down), atau mengaitkan semua orang dari gambar lengkap (bottom-up). Untuk pose objek 6D, PnP memperkirakan rotasi dan translasi dari titik 3D yang diketahui dan korespondensi gambar. Rotasi R\in SO(3) mematuhi R^TR=I,\det R=1 ; regresi sudut Euler langsung memiliki singularitas dan diskontinuitas, sehingga kuaternion yang dinormalisasi atau representasi 6D kontinu digunakan.

Penanganan data dan kegagalan

Evaluasi oklusi, cahaya latar, cermin, banyak orang, alat bantu, pakaian, bentuk tubuh, penampilan kulit, dan ketinggian kamera secara terpisah. Rata-rata OKS yang tinggi tidak membuktikan latensi dan tingkat kesalahan terburuk yang dibutuhkan untuk deteksi jatuh atau penghindaran robot kolaboratif. Jangan menggunakan kembali titik kunci untuk inferensi identitas atau emosi tanpa persetujuan. Tetapkan pembatasan tujuan, retensi, kontrol akses, penghapusan, dan prosedur banding.

Dalam implementasi, kalibrasi intrinsik dan ekstrinsik dan dokumentasikan bingkai, unit, stempel waktu, dan kepercayaan. Ketika kepercayaan rendah, jangan perlakukan interpolasi sebagai kebenaran: perlambat robot, hentikan, atau minta tinjauan manusia. Penghalusan temporal mengurangi jitter tetapi menambah penundaan, yang harus tercermin dalam jarak berhenti.

1. Tetapkan output, toleransi, dan latensi untuk tugas.

2. Evaluasi terpisah berdasarkan atribut, oklusi, dan pencahayaan.

3. Kalibrasi log, transformasi koordinat, dan outlier PnP.

4. Aturan penghentian pengujian untuk kepercayaan rendah, kehilangan sinyal kamera, dan orang yang mendekat.

5. Evaluasi Titik Kunci COCO

Kalibrasi dan waktu berada di luar jaringan

Kesalahan pose bukan hanya masalah jaringan. Panjang fokus atau titik utama yang salah membuat titik yang secara visual benar menjadi salah dalam 3D. Pertahankan urutan distorsi, ukuran ulang/pemotongan, asal, dan konvensi pusat piksel yang identik dalam pelatihan dan inferensi. Ekstrinsik berubah dengan pergerakan dan getaran kamera, jadi periksa kembali kesalahan reproyeksi terhadap target referensi alih-alih mempercayai satu kalibrasi selamanya.

Dengan beberapa kamera atau IMU, verifikasi stempel waktu sebelum frame. Satu frame penundaan 30 fps dapat menggerakkan tangan atau alat yang cepat secara substansial. Simpan waktu perangkat keras, waktu penerimaan, waktu penyelesaian inferensi, dan sampel yang digunakan untuk interpolasi. Trajektori yang dihaluskan dengan indah masih bisa terlambat untuk tabrakan. penghindaran.

Pilihan Pipeline

Normalkan kesalahan 2D berdasarkan ukuran target dan nyatakan unit dan bingkai 3D. Untuk simetris Objek, jika dibandingkan dengan satu rotasi kanonik, dapat menandai pose yang secara fisik benar sebagai salah; gunakan ADD-S yang sadar simetri atau reproyeksi dan evaluasi jarak genggaman. Laporkan persentil ke-95, kesalahan, kesalahan dengan tingkat kepercayaan tinggi, dan latensi ujung-ke-ujung selain kesalahan rata-rata.

Kasus kegagalan: cermin kiri-kanan yang meyakinkan

Cermin, pandangan belakang, dan oklusi diri dapat membuat kerangka yang bertukar kiri-kanan secara geometris masuk akal. Penghalusan dapat mengunci kesalahan untuk banyak frame. Gabungkan orientasi, isyarat visual, beberapa hipotesis, dan batas gerakan; jangan hanya mengandalkan batasan panjang tulang. Dalam aplikasi keselamatan, kepercayaan tinggi bukanlah bukti—gunakan deteksi pertukaran dan ketidaksepakatan dengan sensor independen sebagai kondisi berhenti.

Prosedur implementasi yang dapat direproduksi

1. Perbaiki frame gambar, kamera, dunia, dan robot dengan diagram dan data uji.

2. Uji bolak-balik transformasi titik kunci setelah pengubahan ukuran, penambahan padding, dan augmentasi, termasuk kesalahan sub-piksel yang diketahui.

3. Atur PnP Ambang batas RANSAC dan titik minimum; periksa inlier, kesalahan reproyeksi, dan kedalaman positif.

4. Rekam kasus statis, berjalan, gerakan cepat, oklusi, tepi gambar, dan kehilangan gambar kamera dengan latensi.

5. Uji penghentian dan inisialisasi ulang pada kepercayaan rendah, deformasi kerangka mendadak, pergeseran kalibrasi, dan waktu terbalik.

6. Dokumentasikan tujuan, akses, retensi, anonimisasi, dan penghapusan jika frame asli disimpan.

Pose adalah hipotesis pengamatan, bukan identitas, niat, atau kondisi seseorang. Teruskan frame, waktu, dan ketidakpastian ke hilir sehingga sistem hilir dapat menangani "yang tidak diketahui" dengan aman.

• Kalibrasi kamera OpenCV
• Benchmark pose objek 6D BOP

Kualitas anotasi dan audit operasional

Anotasi juga memiliki ketidakpastian. Pusat sendi di bawah pakaian, pergelangan tangan yang terhalang, dan orientasi objek simetris bervariasi antar annotator. Simpan yang terlihat, Pisahkan status oklusi dan di luar bingkai; pertahankan ketidaksepakatan annotator, revisi definisi, dan titik interpolasi daripada memaksakan ambiguitas ke dalam label yang kaku. Sisakan gambar asli agar material sintetis dan isyarat pencahayaan tidak mendominasi.

Operasi dapat dipantau tanpa menyimpan setiap gambar selamanya. Gabungkan kepercayaan, jumlah sendi yang hilang, kesalahan reproyeksi, latensi, status kamera, dan penghentian; simpan hanya data insiden untuk periode singkat yang terkontrol aksesnya. Pada pembaruan model, putar ulang video yang identik dan bandingkan panjang drop-out, pertukaran kiri-kanan, dan kesalahan terburuk di zona berbahaya, lalu kalibrasi ulang setelah penggantian kamera.