[ad_1]
Menangkap gerakan tangan yang berinteraksi 3D digunakan untuk tugas-tugas seperti AR / VR dan pemahaman sinyal sosial. Pekerjaan saat ini terutama mengandalkan gambar kedalaman, gambar multi-tampilan, atau urutan gambar sebagai input.
Sebuah makalah baru-baru ini, yang diterbitkan di arXiv.org, mengusulkan untuk merekonstruksi tangan yang berinteraksi 3D dari gambar RGB tunggal bermata.
Kredit gambar: Q000024 melalui di sini, CC0 Domain Publik
Para peneliti memperkenalkan kerangka kerja dua tahap yang memperkirakan pose tangan 3D dan bentuk dari dua tangan yang berinteraksi erat dengan pose 3D yang tepat dan sedikit benturan. Pertama, jaringan saraf convolutional memprediksi jerat tangan awal dari dua tangan. Pada tahap kedua, strategi penyempurnaan faktor baru memperbaiki masalah tabrakan. Faktor penyebab kesalahan diuraikan dan diperbaiki satu faktor pada satu waktu.
Evaluasi ekstensif pada dataset skala besar menunjukkan bahwa metode yang diusulkan mencapai pengurangan 71,4% dalam tabrakan yang dihasilkan dan meningkatkan estimasi pose sebesar 16,5% dibandingkan dengan metode yang ada.
Rekonstruksi tangan yang berinteraksi 3D sangat penting untuk memfasilitasi interaksi manusia-mesin dan pemahaman perilaku manusia. Pekerjaan sebelumnya di bidang ini mengandalkan input tambahan seperti gambar kedalaman atau hanya dapat menangani satu tangan jika gambar RGB tunggal monokuler digunakan. Metode satu tangan cenderung menghasilkan jerat tangan bertabrakan, bila diterapkan pada tangan yang berinteraksi erat, karena metode tersebut tidak dapat memodelkan interaksi antara dua tangan secara eksplisit. Dalam makalah ini, kami membuat upaya pertama untuk merekonstruksi tangan yang berinteraksi 3D dari gambar RGB tunggal bermata. Metode kami dapat menghasilkan jerat tangan 3D dengan pose 3D yang tepat dan benturan minimal. Ini dimungkinkan melalui kerangka kerja dua tahap. Secara khusus, tahap pertama mengadopsi jaringan saraf convolutional untuk menghasilkan prediksi kasar yang mentolerir tabrakan tetapi mendorong jerat tangan akurat-pose. Tahap kedua secara progresif memperbaiki tabrakan melalui serangkaian penyempurnaan terfaktor sambil mempertahankan ketepatan pose 3D. Kami dengan hati-hati menyelidiki implementasi potensial untuk penyempurnaan terfaktor, dengan mempertimbangkan trade-off antara efisiensi dan akurasi. Hasil kuantitatif dan kualitatif yang luas pada kumpulan data skala besar seperti InterHand2.6M menunjukkan efektivitas pendekatan yang diusulkan.
Makalah penelitian: Rong, Y., Wang, J., Liu, Z., dan Change Loy, C., “Rekonstruksi 3D Bermata dari Tangan yang Berinteraksi melalui Penyempurnaan Faktor Sadar Tabrakan”, 2021. Tautan: https://arxiv.org/abs/2111.00763
[ad_2]
