Menuju Kosakata Konsep Visual untuk Ruang Laten GAN – Majalah Time.com

  • Whatsapp


Jaringan permusuhan generatif (GAN) dapat digunakan untuk mengubah gambar yang dihasilkan. Namun, metode saat ini hanya menangkap keselarasan terbatas dengan penilaian manusia tentang arti-penting persepsi.

Bacaan Lainnya

Oleh karena itu, sebuah makalah baru-baru ini mengusulkan glosarium terbuka tentang arah primitif untuk memahami transformasi semantik yang dapat ditafsirkan yang dikodekan dalam ruang laten. Hal ini dapat menyebabkan transformasi gambar yang lebih ekspresif dan beragam.

Pertama, prosedur baru untuk menghasilkan arah perseptual yang menonjol berdasarkan selektivitas lapisan diusulkan. Kemudian, paradigma pengumpulan data di mana annotator manusia secara langsung memberi label arah dengan semantiknya diperkenalkan.

Akhirnya, para peneliti mengusulkan model bag-of-directions yang secara otomatis menguraikan anotasi menjadi glosarium transformasi visual “primitif” yang terkait dengan kata-kata tunggal. Metode ini memungkinkan pengeditan gambar yang andal dengan kosakata yang relatif terbuka.

Sejumlah besar karya terbaru telah mengidentifikasi transformasi di ruang laten jaringan permusuhan generatif (GAN) yang secara konsisten dan dapat diinterpretasikan mengubah gambar yang dihasilkan. Tetapi teknik yang ada untuk mengidentifikasi transformasi ini bergantung pada kosakata tetap dari konsep visual yang ditentukan sebelumnya, atau pada teknik penguraian tanpa pengawasan yang keselarasannya dengan penilaian manusia tentang arti-penting persepsi tidak diketahui. Makalah ini memperkenalkan metode baru untuk membangun kosakata terbuka dari konsep visual primitif yang direpresentasikan dalam ruang laten GAN. Pendekatan kami dibangun dari tiga komponen: (1) identifikasi otomatis arah persepsi yang menonjol berdasarkan selektivitas lapisannya; (2) anotasi manusia dari arah ini dengan deskripsi bahasa alami komposisi bentuk bebas; dan (3) dekomposisi anotasi ini menjadi kosakata konsep visual, yang terdiri dari petunjuk arah suling yang diberi label dengan kata-kata tunggal. Eksperimen menunjukkan bahwa konsep yang dipelajari dengan pendekatan kami dapat diandalkan dan dapat disusun — menggeneralisasikan di seluruh kelas, konteks, dan pengamat, dan memungkinkan manipulasi gaya gambar dan konten yang halus.

Makalah penelitian: Schwettmann, S., Hernandez, E., Bau, D., Klein, S., Andreas, J., dan Torralba, A., “Menuju Kosakata Konsep Visual untuk Ruang Laten GAN”, 2021. Tautan: https://arxiv.org/abs/2110.04292



Pos terkait

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan.