[ad_1]
Manusia dapat menggunakan suara sekitar seperti suara ventilasi hingga jam yang berdetak untuk memahami Struktur adegan 3D. Sebuah makalah baru-baru ini di arXiv.org menyelidiki apakah suara-suara ini dapat digunakan untuk pembelajaran mandiri multimodal.
Gelombang suara. Kredit gambar: mtmmonline melalui Pixabay, CC0 Domain Publik
Para peneliti mengumpulkan kumpulan data rekaman audio “di alam liar” dari adegan dalam ruangan yang tenang yang khas dari apa yang akan dihadapi robot saat menyelesaikan tugas navigasi. Setiap suara dipasangkan dengan rekaman yang sesuai dari sensor RGB-D, yang memberikan sinyal visual dan kedalaman ground-truth semu. Sebuah studi eksperimental estimasi kedalaman dilakukan dengan menggunakan dataset. Hal ini menunjukkan bahwa audio dapat digunakan untuk memperkirakan jarak ke dinding terdekat.
Model yang disarankan dapat digunakan sebagai bagian dari sistem navigasi robot sederhana, di mana robot beroda bergerak di sepanjang dinding menggunakan isyarat audio sekitar. Juga ditunjukkan bahwa rekaman audio-visual dapat memberikan pengawasan diri yang berguna untuk tugas estimasi kedalaman.
Dari kipas langit-langit yang berputar hingga jam yang berdetak, suara yang kita dengar agak bervariasi saat kita bergerak melalui sebuah adegan. Kami menanyakan apakah suara sekitar ini menyampaikan informasi tentang struktur pemandangan 3D dan, jika demikian, apakah suara tersebut memberikan sinyal pembelajaran yang berguna untuk model multimodal. Untuk mempelajari ini, kami mengumpulkan kumpulan data audio berpasangan dan rekaman RGB-D dari berbagai pemandangan dalam ruangan yang tenang. Kami kemudian melatih model yang memperkirakan jarak ke dinding terdekat, hanya diberikan audio sebagai input. Kami juga menggunakan rekaman ini untuk mempelajari representasi multimodal melalui pengawasan diri, dengan melatih jaringan untuk mengaitkan gambar dengan suara yang sesuai. Hasil ini menunjukkan bahwa suara sekitar menyampaikan sejumlah informasi mengejutkan tentang struktur pemandangan, dan itu adalah sinyal yang berguna untuk mempelajari fitur multimodal.
Makalah penelitian: Chen, Z., Hu, X., dan Owens, A., “Structure from Silence: Learning Scene Structure from Ambient Sound”, 2021. Tautan: https://arxiv.org/abs/2111.05846
[ad_2]
