[ad_1]
Deepfake dapat menimbulkan ancaman nyata bagi masyarakat, terutama jika ditargetkan pada orang-orang yang berkuasa. Menyerang masalah tersebut, para peneliti membuat metode deteksi deepfake baru yang bertujuan untuk mendeteksi contoh pemalsuan gambar dan video.
Sebuah deepfake – kesan artistik. Kredit gambar: ApolitikNow melalui Flickr, CC BY-NC-SA 2.0
Sebuah makalah baru-baru ini diterbitkan di arXiv.org mencari metode untuk mendeteksi pemalsuan video terkait identitas seseorang. Tujuan para peneliti adalah untuk mengenali apakah orang yang “terlihat” dalam sebuah video adalah diri mereka sendiri. Masalahnya dengan demikian lebih luas dan mencakup video deepfake dan video asli yang dipalsukan.
Pendekatan deteksi multimodal semantik diusulkan untuk menyelesaikan tugas tersebut. Ini mengintegrasikan transkrip ucapan ke dalam analisis gerakan khusus orang. Pendekatan ini bergantung pada intuisi bahwa setiap orang memiliki pola unik dalam cara bicara, ekspresi wajah, dan gerak tubuh mereka terjadi bersamaan. Sebuah studi perbandingan dari beberapa metode deteksi video palsu di beberapa jenis palsu menunjukkan bahwa pendekatan yang diusulkan menunjukkan kinerja generalisasi yang kuat di semua jenis palsu.
Di era misinformasi digital saat ini, kita semakin dihadapkan pada ancaman baru yang ditimbulkan oleh teknik pemalsuan video. Pemalsuan tersebut berkisar dari fakefake (misalnya, lookalikes atau audio dubbing) hingga deepfake (misalnya, metode sintesis media AI yang canggih), yang secara persepsi tidak dapat dibedakan dari video nyata. Untuk mengatasi tantangan ini, kami mengusulkan pendekatan forensik semantik multi-modal untuk menemukan petunjuk yang melampaui pendeteksian perbedaan dalam kualitas visual, sehingga menangani pemalsuan yang lebih sederhana dan pemalsuan yang persuasif secara visual. Dalam pekerjaan ini, tujuan kami adalah untuk memverifikasi bahwa orang yang terlihat dalam video itu memang diri mereka sendiri dengan mendeteksi korespondensi anomali antara gerakan wajah mereka dan kata-kata yang mereka ucapkan. Kami memanfaatkan ide atribusi untuk mempelajari pola biometrik khusus orang yang membedakan pembicara tertentu dari orang lain. Kami menggunakan Unit Tindakan yang dapat diinterpretasikan (AU) untuk menangkap gerakan wajah dan kepala seseorang sebagai lawan dari fitur visual CNN yang mendalam, dan kami adalah yang pertama menggunakan analisis gerakan wajah yang dikondisikan kata. Tidak seperti pendekatan khusus orang yang ada, metode kami juga efektif melawan serangan yang berfokus pada manipulasi bibir. Kami selanjutnya mendemonstrasikan keefektifan metode kami pada berbagai pemalsuan yang tidak terlihat dalam pelatihan termasuk yang tanpa manipulasi video, yang tidak dibahas dalam pekerjaan sebelumnya.
Makalah penelitian: Agarwal, S., Hu, L., Ng, E., Darrell, T., Li, H., dan Rohrbach, A., “Tonton Kata-kata Itu: Deteksi Pemalsuan Video Menggunakan Gerakan Wajah Berkondisi Kata”, 2021. Tautan : https://arxiv.org/abs/2112.10936
[ad_2]
