GPT-3: Jaringan Neural Penghasil Teks Baru OpenAI Telah Hadir

Ketika algoritma penghasil teks GPT-2 dibuat pada tahun 2019, algoritma ini diberi label sebagai salah satu yang paling “berbahaya” A.I. algoritma dalam sejarah. Bahkan, ada yang berpendapat bahwa hal itu sangat berbahaya sehingga tidak boleh dipublikasikan (spoiler: Memang benar) agar tidak menimbulkan “kiamat robot.” Tentu saja hal itu tidak pernah terjadi. GPT-2 akhirnya dirilis ke publik, dan setelah tidak menghancurkan dunia, penciptanya beralih ke hal berikutnya. Namun bagaimana Anda menindaklanjuti algoritma paling berbahaya yang pernah dibuat?

Jawabannya, setidaknya di atas kertas, sederhana saja: Sama seperti sekuel film sukses mana pun, Anda membuat sesuatu yang lebih besar, lebih buruk, dan lebih mahal. Hanya satu xenomorph yang pertama Asing? Sertakan seluruh sarangnya dalam sekuelnya, alien. Hanya satu mesin yang hampir tidak bisa dihancurkan yang dikirim kembali dari masa depan Terminator? Beri penonton dua di antara mereka untuk diajak bergulat Terminator 2: Hari Penghakiman.

Hal yang sama berlaku untuk A.I. - pada kasus ini, GPT-3, jaringan saraf pemrosesan bahasa alami yang baru-baru ini dirilis yang dibuat oleh OpenAI, laboratorium penelitian kecerdasan buatan yang dulunya (tapi sekarang tidak lagi) disponsori oleh SpaceX dan CEO Tesla Elon Musk.

GPT-3 adalah yang terbaru dari serangkaian jaringan saraf penghasil teks. Nama GPT adalah singkatan dari Generative Pretrained Transformer, merujuk pada tahun 2017 Inovasi Google disebut Transformer yang dapat mengetahui kemungkinan munculnya kata tertentu bersama kata-kata di sekitarnya. Dilengkapi dengan beberapa kalimat, seperti awal berita, model bahasa terlatih GPT dapat menghasilkan kelanjutan yang akurat dan meyakinkan, bahkan termasuk rumusan yang dibuat-buat kutipan.

Inilah sebabnya mengapa beberapa orang khawatir bahwa hal itu bisa berbahaya, dengan membantu menghasilkan teks palsu seperti itu palsu, bisa membantu menyebarkan berita palsu secara online. Kini, dengan GPT-3, semuanya menjadi lebih besar dan lebih pintar dari sebelumnya.

Kisah rekaman itu

GPT-3, seperti yang dijelaskan dalam perbandingan “tale of the tape” gaya tinju, adalah pesaing kelas berat yang sesungguhnya. GPT asli OpenAI tahun 2018 memiliki 110 juta parameter, mengacu pada bobot koneksi yang memungkinkan jaringan saraf untuk belajar. GPT-2 tahun 2019, yang menyebabkan banyak keributan sebelumnya mengenai potensi aplikasi berbahaya, memiliki 1,5 miliar parameter. Bulan lalu, Microsoft memperkenalkan model bahasa terlatih serupa terbesar di dunia, yang memiliki 17 miliar parameter. Sebagai perbandingan, GPT-3 yang mengerikan pada tahun 2020 memiliki hasil yang mencengangkan 175 miliar parameter. Dilaporkan biaya pelatihannya sekitar $12 juta.

“Kekuatan model ini adalah agar berhasil memprediksi kata berikutnya, mereka akhirnya mempelajari dunia yang sangat kuat model yang dapat digunakan untuk segala macam hal menarik,” Nick Walton, chief technology officer Latitude, studio di belakang A.I. penjara bawah tanah, sebuah game petualangan teks yang dihasilkan AI yang didukung oleh GPT-2, mengatakan kepada Digital Trends. “Anda juga dapat menyempurnakan model dasar untuk membentuk generasi ke arah tertentu sambil tetap mempertahankan pengetahuan yang dipelajari model di pra-pelatihan.”

Gwern Branwen, seorang komentator dan peneliti yang menulis tentang psikologi, statistik, dan teknologi, mengatakan kepada Digital Trends bahwa Model bahasa terlatih yang diwakili oleh GPT telah menjadi “bagian yang semakin penting dalam setiap tugas pembelajaran mesin pada teks. Dengan cara yang sama [saran standar untuk] banyak tugas yang berhubungan dengan gambar menjadi 'gunakan a [jaringan saraf konvolusional], banyak tugas yang berhubungan dengan bahasa menjadi 'gunakan [bahasa model.'"

OpenAI – yang menolak berkomentar untuk artikel ini – bukan satu-satunya perusahaan yang melakukan pekerjaan mengesankan dengan pemrosesan bahasa alami. Seperti disebutkan, Microsoft telah melangkah maju dengan beberapa karyanya yang memukau. Facebook, sementara itu, berinvestasi besar-besaran pada teknologi dan telah menciptakan terobosan-terobosan serupa BlenderBot, chatbot domain terbuka bersumber terbuka terbesar yang pernah ada. Ini mengungguli yang lain dalam hal keterlibatan dan juga terasa lebih manusiawi, menurut penilai manusia. Seperti yang diketahui oleh siapa pun yang telah menggunakan komputer dalam beberapa tahun terakhir, mesin kini menjadi lebih baik dalam memahami kita dibandingkan sebelumnya — dan pemrosesan bahasa alami adalah alasannya.

Ukuran diperhitungkan

Namun GPT-3 OpenAI masih berdiri sendiri dalam skalanya yang memecahkan rekor. “GPT-3 menarik perhatian terutama karena ukurannya,” Joe Davison, seorang insinyur penelitian di Memeluk Wajah, sebuah startup yang berupaya memajukan pemrosesan bahasa alami dengan mengembangkan alat sumber terbuka dan melakukan penelitian mendasar, kepada Digital Trends.

Pertanyaan besarnya adalah untuk apa semua ini digunakan. GPT-2 menemukan jalannya ke berbagai kegunaan, digunakan untuk berbagai sistem penghasil teks.

Davison menyatakan kewaspadaannya bahwa GPT-3 mungkin dibatasi oleh ukurannya. “Tim OpenAI tidak diragukan lagi telah melampaui batasan seberapa besar model ini dan menunjukkan bahwa mengembangkannya mengurangi ketergantungan kita pada data spesifik tugas,” katanya. “Namun, sumber daya komputasi yang diperlukan untuk benar-benar menggunakan GPT-3 di dunia nyata menjadikannya sangat tidak praktis. Jadi meskipun pekerjaan ini menarik dan memberikan wawasan, saya tidak akan menyebutnya sebagai langkah maju yang besar dalam bidang ini.”

Namun yang lain tidak setuju. “Komunitas [internal-link post_id="NN"]kecerdasan buatan[/internal-link] telah lama mengamati bahwa menggabungkan model yang semakin besar dengan data yang semakin banyak menghasilkan peningkatan yang hampir dapat diprediksi dalam kekuatan model ini, sangat mirip dengan Hukum Moore tentang penskalaan daya komputasi,” Yannic Kilcher, seorang A.I. peneliti WHO menjalankan saluran YouTube, kepada Digital Trends. “Namun, seperti Hukum Moore, banyak yang berspekulasi bahwa kita pada akhirnya akan mampu meningkatkan model bahasa hanya dengan menskalakannya. naik, dan untuk mendapatkan kinerja yang lebih tinggi, kita perlu membuat penemuan besar dalam hal arsitektur atau pelatihan baru metode. GPT-3 menunjukkan bahwa hal ini tidak benar dan kemampuan untuk meningkatkan kinerja hanya melalui skala besar tampaknya tidak ada hentinya — dan hal ini belum terlihat akan berakhir.”

Lulus Tes Turing?

Branwen berpendapat bahwa alat seperti GPT-3 bisa menjadi kekuatan pengganggu yang besar. “Salah satu cara untuk memikirkannya adalah, pekerjaan apa yang melibatkan pengambilan sepotong teks, mengubahnya, dan mengeluarkan sepotong teks lainnya?” kata Branwen. “Pekerjaan apa pun yang dijelaskan oleh hal tersebut – seperti pengkodean medis, penagihan, resepsionis, dukungan pelanggan, [dan banyak lagi] akan menjadi target yang baik untuk menyempurnakan GPT-3, dan menggantikan orang tersebut. Banyak sekali pekerjaan yang kurang lebih 'menyalin bidang dari satu spreadsheet atau PDF ke spreadsheet atau PDF lain', dan otomatisasi kantor semacam itu, yang terlalu kacau untuk dilakukan. dengan mudah menulis program normal untuk diganti, akan rentan terhadap GPT-3 karena dapat mempelajari semua pengecualian dan konvensi yang berbeda serta bekerja sebaik manusia akan."

Pada akhirnya, pemrosesan bahasa alami mungkin hanya salah satu bagian dari AI, tetapi bisa dibilang hal ini merupakan inti dari impian kecerdasan buatan dengan cara yang tidak dilakukan oleh beberapa disiplin ilmu lain di bidangnya. Itu Tes Turing yang terkenal, salah satu perdebatan penting yang mengawali bidang ini, adalah masalah pemrosesan bahasa alami: Bisakah Anda membuat A.I. yang secara meyakinkan dapat menyamar sebagai seseorang? Karya terbaru OpenAI tentu saja memajukan tujuan ini. Sekarang yang tersisa adalah melihat penerapan apa yang akan ditemukan oleh para peneliti.

“Saya pikir faktanya teks GPT-2 dapat dengan mudah diterima oleh manusia sehingga semakin sulit untuk mengabaikannya sebagai ‘hanya pengenalan pola’ atau ‘hanya hafalan’,” kata Branwen. “Siapa pun yang yakin bahwa pembelajaran mendalam tidak seperti kecerdasan pasti akan terguncang keyakinannya untuk melihat seberapa jauh perkembangannya.”

Rekomendasi Editor

• Penulis terkenal menuntut pembayaran dari perusahaan AI untuk menggunakan karya mereka
• Pembuat ChatGPT, OpenAI, menghadapi penyelidikan FTC atas undang-undang perlindungan konsumen
• OpenAI membangun tim baru untuk menghentikan AI super cerdas menjadi nakal
• Pembuat ChatGPT berusaha menghilangkan 'halusinasi' chatbot
• Aplikasi ChatGPT baru OpenAI gratis untuk iPhone dan iPad