[ad_1]
Kontemporer visi komputer model dapat berhasil mengklasifikasikan, mendeteksi, dan mengelompokkan objek dalam gambar Internet dengan cukup baik. Sebuah makalah baru-baru ini di arXiv.org menyelidiki bagaimana agen aktif yang diwujudkan dalam lingkungan 3D dapat menyelesaikan tugas-tugas ini.
Robot dengan pemindai laser dan kamera PTZ, gripper (tertutup). Kredit gambar: Tim3672 melalui Wikimedia, CC-BY-SA-3.0
Kerangka yang disarankan terdiri dari dua fase. Pertama, agen mempelajari kebijakan eksplorasi yang diawasi sendiri untuk mengumpulkan pengamatan objek dengan setidaknya satu sudut pandang yang sangat percaya diri. Pengamatan digunakan untuk membangun peta semantik 3D episodik. Kemudian, kebijakan yang dipelajari digunakan untuk mengumpulkan satu episode pengamatan di suatu lingkungan. Peta semantik digunakan untuk menghitung hadiah.
Eksperimen menunjukkan bahwa kinerja model dapat ditingkatkan melalui interaksi yang diawasi sendiri. Data yang dikumpulkan oleh agen di dunia nyata meningkatkan model persepsi. Model persepsi yang ditingkatkan, pada gilirannya, meningkatkan kebijakan agen untuk berinteraksi dengan dunia.
Dalam makalah ini, kami mengeksplorasi bagaimana kami dapat membangun data dan model gambar Internet dan menggunakannya untuk beradaptasi dengan visi robot tanpa memerlukan label tambahan. Kami menyajikan kerangka kerja yang disebut Self-supervised Embodied Active Learning (SEAL). Ini menggunakan model persepsi yang dilatih pada gambar internet untuk mempelajari kebijakan eksplorasi aktif. Pengamatan yang dikumpulkan oleh kebijakan eksplorasi ini diberi label menggunakan konsistensi 3D dan digunakan untuk meningkatkan model persepsi. Kami membangun dan menggunakan peta semantik 3D untuk mempelajari tindakan dan persepsi dengan cara yang sepenuhnya diawasi sendiri. Peta semantik digunakan untuk menghitung imbalan motivasi intrinsik untuk melatih kebijakan eksplorasi dan untuk pelabelan pengamatan agen menggunakan konsistensi 3D spatio-temporal dan propagasi label. Kami mendemonstrasikan bahwa kerangka kerja SEAL dapat digunakan untuk menutup loop aksi-persepsi: ini meningkatkan deteksi objek dan kinerja segmentasi instan dari model persepsi yang telah dilatih sebelumnya dengan hanya bergerak di lingkungan pelatihan dan model persepsi yang ditingkatkan dapat digunakan untuk meningkatkan Navigasi Sasaran Objek .
Makalah penelitian: Singh Chaplot, D., Dalal, M., Gupta, S., Malik, J., dan Salakhutdinov, R., “SEAL: Self-supervised Embodied Active Learning using Exploration and 3D Consistency”, 2021. Tautan: https://arxiv.org/abs/2112.01001
[ad_2]
