[ad_1]
Dalam beberapa tahun terakhir, model kecerdasan buatan bahasa telah menjadi sangat baik dalam tugas-tugas tertentu. Terutama, mereka unggul dalam memprediksi kata berikutnya dalam serangkaian teks; teknologi ini membantu mesin pencari dan aplikasi SMS memprediksi kata berikutnya yang akan Anda ketik.
Model bahasa prediktif generasi terbaru juga tampaknya mempelajari sesuatu tentang makna yang mendasari bahasa. Model-model ini tidak hanya dapat memprediksi kata yang datang berikutnya, tetapi juga melakukan tugas-tugas yang tampaknya memerlukan beberapa tingkat pemahaman yang tulus, seperti menjawab pertanyaan, meringkas dokumen, dan menyelesaikan cerita.
Model semacam itu dirancang untuk mengoptimalkan kinerja untuk fungsi spesifik memprediksi teks, tanpa berusaha meniru apa pun tentang bagaimana otak manusia melakukan tugas ini atau memahami bahasa. Tetapi sebuah studi baru dari ahli saraf MIT menunjukkan fungsi yang mendasari model ini menyerupai fungsi pusat pemrosesan bahasa di otak manusia.
Model komputer yang berkinerja baik pada jenis tugas bahasa lainnya tidak menunjukkan kesamaan ini dengan otak manusia, menawarkan bukti bahwa otak manusia dapat menggunakan prediksi kata berikutnya untuk mendorong pemrosesan bahasa.
“Semakin baik model dalam memprediksi kata berikutnya, semakin sesuai dengan otak manusia,” kata Nancy Kanwisher, Profesor Ilmu Saraf Kognitif Walter A. Rosenblith, anggota Institut McGovern untuk Penelitian Otak dan Pusat Otak MIT, Pikiran, dan Mesin (CBMM), dan penulis studi baru. “Sungguh menakjubkan bahwa modelnya sangat cocok, dan secara tidak langsung menunjukkan bahwa mungkin apa yang dilakukan sistem bahasa manusia adalah memprediksi apa yang akan terjadi selanjutnya.”
Joshua Tenenbaum, seorang profesor ilmu kognitif komputasi di MIT dan anggota CBMM dan Laboratorium Kecerdasan Buatan MIT (CSAIL); dan Evelina Fedorenko, Frederick A. dan Carole J. Middleton Career Development Associate Professor of Neuroscience dan anggota dari McGovern Institute, adalah penulis senior studi tersebut, yang muncul di Prosiding National Academy of Sciences. Martin Schrimpf, seorang mahasiswa pascasarjana MIT yang bekerja di CBMM, adalah penulis pertama makalah ini.
Membuat prediksi
Model prediksi kata berikutnya yang baru dan berkinerja tinggi termasuk dalam kelas model yang disebut jaringan saraf yang dalam. Jaringan ini berisi “node” komputasi yang membentuk koneksi dengan kekuatan yang berbeda-beda, dan lapisan yang meneruskan informasi antara satu sama lain dengan cara yang ditentukan.
Selama dekade terakhir, para ilmuwan telah menggunakan jaringan saraf dalam untuk membuat model penglihatan yang dapat mengenali objek serta otak primata tidak. Penelitian di MIT juga menunjukkan bahwa fungsi yang mendasari model pengenalan objek visual cocok dengan organisasi korteks visual primata, meskipun model komputer tersebut tidak dirancang khusus untuk meniru otak.
Dalam studi baru, tim MIT menggunakan pendekatan serupa untuk membandingkan pusat pemrosesan bahasa di otak manusia dengan model pemrosesan bahasa. Para peneliti menganalisis 43 model bahasa yang berbeda, termasuk beberapa yang dioptimalkan untuk prediksi kata berikutnya. Ini termasuk model yang disebut GPT-3 (Generative Pre-trained Transformer 3), yang, jika diminta, dapat menghasilkan teks yang mirip dengan apa yang akan dihasilkan manusia. Model lain dirancang untuk melakukan tugas bahasa yang berbeda, seperti mengisi bagian yang kosong dalam sebuah kalimat.
Karena setiap model disajikan dengan serangkaian kata, para peneliti mengukur aktivitas node yang membentuk jaringan. Mereka kemudian membandingkan pola-pola ini dengan aktivitas di otak manusia, diukur pada subjek yang melakukan tiga tugas bahasa: mendengarkan cerita, membaca kalimat satu per satu, dan membaca kalimat di mana satu kata diungkapkan pada satu waktu. Kumpulan data manusia ini termasuk data resonansi magnetik fungsional (fMRI) dan pengukuran elektrokortikografi intrakranial yang diambil pada orang yang menjalani operasi otak untuk epilepsi.
Mereka menemukan bahwa model prediksi kata berikutnya dengan kinerja terbaik memiliki pola aktivitas yang sangat mirip dengan yang terlihat di otak manusia. Aktivitas dalam model yang sama juga sangat berkorelasi dengan ukuran perilaku manusia seperti seberapa cepat orang dapat membaca teks.
“Kami menemukan bahwa model yang memprediksi respons saraf dengan baik juga cenderung memprediksi respons perilaku manusia dengan baik, dalam bentuk waktu membaca. Dan kemudian keduanya dijelaskan oleh kinerja model pada prediksi kata berikutnya. Segitiga ini benar-benar menghubungkan semuanya bersama-sama, ”kata Schrimpf.
“Pengambilan kunci dari pekerjaan ini adalah bahwa pemrosesan bahasa adalah masalah yang sangat terbatas: Solusi terbaik untuk itu yang telah dibuat oleh para insinyur AI pada akhirnya serupa, seperti yang ditunjukkan makalah ini, dengan solusi yang ditemukan oleh proses evolusi yang menciptakan otak manusia. . Karena jaringan AI tidak berusaha untuk meniru otak secara langsung – tetapi akhirnya terlihat seperti otak – ini menunjukkan bahwa, dalam arti tertentu, semacam evolusi konvergen telah terjadi antara AI dan alam, ”kata Daniel Yamins, seorang asisten profesor psikologi dan ilmu komputer di Universitas Stanford, yang tidak terlibat dalam penelitian ini.
Pengubah permainan
Salah satu fitur komputasi utama dari model prediktif seperti GPT-3 adalah elemen yang dikenal sebagai trafo prediktif satu arah maju. Trafo jenis ini mampu membuat prediksi tentang apa yang akan terjadi selanjutnya, berdasarkan urutan sebelumnya. Fitur penting dari transformator ini adalah ia dapat membuat prediksi berdasarkan konteks sebelumnya yang sangat panjang (ratusan kata), bukan hanya beberapa kata terakhir.
Para ilmuwan belum menemukan sirkuit otak atau mekanisme pembelajaran yang sesuai dengan jenis pemrosesan ini, kata Tenenbaum. Namun, temuan baru ini konsisten dengan hipotesis yang telah diajukan sebelumnya bahwa prediksi adalah salah satu fungsi utama dalam pemrosesan bahasa, katanya.
“Salah satu tantangan pemrosesan bahasa adalah aspek waktu nyatanya,” katanya. “Bahasa masuk, dan Anda harus mengikutinya dan dapat memahaminya secara real time.”
Para peneliti sekarang berencana untuk membangun varian dari model pemrosesan bahasa ini untuk melihat bagaimana perubahan kecil dalam arsitektur mereka memengaruhi kinerja dan kemampuan mereka untuk menyesuaikan data saraf manusia.
“Bagi saya, hasil ini telah menjadi pengubah permainan,” kata Fedorenko. “Ini benar-benar mengubah program penelitian saya, karena saya tidak akan meramalkan bahwa dalam hidup saya kita akan mendapatkan model komputasi eksplisit yang cukup menangkap tentang otak sehingga kita benar-benar dapat memanfaatkannya dalam memahami cara kerja otak.”
Para peneliti juga berencana untuk mencoba menggabungkan model bahasa berkinerja tinggi ini dengan beberapa model komputer yang telah dikembangkan lab Tenenbaum sebelumnya yang dapat melakukan jenis tugas lain seperti membangun representasi perseptual dari dunia fisik.
“Jika kita dapat memahami apa yang dilakukan model bahasa ini dan bagaimana mereka dapat terhubung ke model yang melakukan hal-hal yang lebih seperti persepsi dan pemikiran, maka itu dapat memberi kita model yang lebih integratif tentang bagaimana segala sesuatu bekerja di otak,” kata Tenenbaum . “Ini bisa membawa kita ke model kecerdasan buatan yang lebih baik, serta memberi kita model yang lebih baik tentang bagaimana lebih banyak otak bekerja dan bagaimana kecerdasan umum muncul, daripada yang kita miliki di masa lalu.”
Ditulis oleh
Sumber: Institut Teknologi Massachusetts
[ad_2]
