[ad_1]
Memberi label data dalam pembelajaran mesin itu mahal dalam hal waktu dan uang. Paradigma Active Learning (AL) menggunakan proses iteratif anotasi manusia untuk memilih model terbaik. Biasanya, model yang dilatih terakhir dianggap menunjukkan contoh apa yang diinginkan untuk pembaruan model berikutnya.
Ruang server. Kredit gambar: Arsip Nasional (UK) melalui Wikimedia, CC-BY-3.0
Namun, sebuah studi baru-baru ini di arXiv.org berpendapat bahwa konsistensi yang benar, yaitu kemampuan model untuk membuat prediksi yang benar secara konsisten di seluruh generasi AL yang berurutan untuk input yang sama, harus menjadi kriteria penting.
Kerangka AL label-efisien diusulkan untuk menjembatani perbedaan pengetahuan antara data berlabel dan model. Para peneliti mengandalkan gagasan untuk menambahkan langkah baru dalam proses berulang AL untuk mempelajari pengetahuan yang terlupakan.
Hasil eksperimen menunjukkan bahwa kerangka kerja yang diusulkan secara signifikan meningkatkan kinerja sambil mempertahankan pengetahuan berharga dari kumpulan data berlabel.
Pembelajaran aktif dapat didefinisikan sebagai iterasi pelabelan data, pelatihan model, dan akuisisi data, hingga label yang memadai diperoleh. Pandangan tradisional tentang akuisisi data adalah bahwa, melalui iterasi, pengetahuan dari label dan model manusia secara implisit disaring untuk secara monoton meningkatkan akurasi dan konsistensi label. Di bawah asumsi ini, model yang paling baru dilatih adalah pengganti yang baik untuk data berlabel saat ini, dari mana akuisisi data diminta berdasarkan ketidakpastian/keragaman. Kontribusi kami adalah menyanggah mitos ini dan mengusulkan tujuan baru untuk penyulingan. Pertama, kami menemukan contoh lupa, yang menunjukkan hilangnya pengetahuan yang dipelajari di seluruh iterasi. Kedua, untuk alasan ini, model terakhir bukan lagi guru terbaik — Untuk mengurangi pengetahuan yang terlupakan seperti itu, kami memilih salah satu model pendahulunya sebagai guru, dengan gagasan yang kami usulkan tentang “konsistensi”. Kami menunjukkan bahwa distilasi baru ini berbeda dalam tiga aspek berikut; Pertama, konsistensi memastikan untuk tidak melupakan label. Kedua, konsistensi meningkatkan ketidakpastian/keragaman data berlabel. Terakhir, konsistensi menebus label cacat yang diproduksi oleh annotator manusia.
Makalah penelitian: Kwak, B.-. woo ., Kim, Y., Kim, YJ, Hwang, S.-. menang ., dan Yeo, J., “TrustAL: Pembelajaran Aktif yang Dapat Dipercaya menggunakan Penyulingan Pengetahuan”, 2022. Tautan: https://arxiv.org/abs/2201.11661
[ad_2]
