Bagaimana GPT-3 Secara Diam-diam Menghadirkan A.I. Revolusi

Apa gunanya? Benar-benar segalanya

Baru-baru ini, Francis Jervis, pendiri sebuah startup menelepon Ditambah, menggunakan GPT-3 untuk membantu orang-orang yang kesulitan dengan uang sewa untuk menulis surat yang menegosiasikan diskon sewa. “Saya akan mendeskripsikan kasus penggunaan di sini sebagai 'transfer gaya',” kata Jervis kepada Digital Trends. “[Dibutuhkan] poin-poin penting, yang bahkan tidak harus dalam bahasa Inggris yang sempurna, dan [menghasilkan] dua hingga tiga kalimat dalam bahasa formal.”

Didukung oleh model bahasa yang sangat canggih ini, alat Jervis memungkinkan penyewa menggambarkan situasi mereka dan alasan mereka memerlukan penyelesaian dengan potongan harga. “Cukup masukkan beberapa kata tentang mengapa Anda kehilangan pendapatan, dan dalam beberapa detik Anda akan mendapatkan saran paragraf formal dan persuasif untuk ditambahkan ke surat Anda,” klaim perusahaan tersebut.

Ini hanyalah puncak gunung es. Kapan Aditya Joshi, seorang ilmuwan pembelajaran mesin dan mantan insinyur Amazon Web Services, pertama kali menemukan GPT-3, dia begitu terpesona dengan apa yang dilihatnya sehingga dia membuat situs web, www.gpt3examples.com, untuk melacak yang terbaik.

“Tak lama setelah OpenAI mengumumkan API mereka, pengembang mulai men-tweet demo aplikasi yang mengesankan yang dibangun menggunakan GPT-3,” katanya kepada Digital Trends. “Mereka luar biasa bagusnya. Saya membangun [situs web saya] untuk memudahkan komunitas menemukan contoh-contoh ini dan menemukan cara-cara kreatif menggunakan GPT-3 untuk memecahkan masalah di domain mereka sendiri.”

Persona sintetis yang sepenuhnya interaktif dengan GPT-3 dan https://t.co/ZPdnEqR0Hn 🎇

Mereka tahu siapa diri mereka, di mana mereka bekerja, siapa bos mereka, dan masih banyak lagi. Ini bukan bot ayahmu… pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18 Agustus 2020

Joshi menunjuk beberapa demo yang benar-benar berdampak pada dirinya. Satu, sebuah pembuat tata letak, merender tata letak fungsional dengan menghasilkan kode JavaScript dari deskripsi teks sederhana. Ingin tombol bertuliskan “berlangganan” berbentuk semangka? Ingin beberapa teks spanduk dengan serangkaian tombol berwarna pelangi? Cukup jelaskan dalam teks dasar, dan generator tata letak Sharif Shameem akan menulis kodenya untuk Anda. Yang lainnya, a Mesin pencari berbasis GPT-3 dibuat oleh Paras Chopra, dapat mengubah pertanyaan tertulis apa pun menjadi jawaban dan tautan URL untuk memberikan informasi lebih lanjut. Lainnya, kebalikan dari karya Francis Jervis karya Michael Tefula, menerjemahkan dokumen hukum ke dalam bahasa Inggris biasa. Satu lagi, oleh Raphaël Millière, menulis esai filosofis. Dan satu lagi, karya Gwern Branwen, bisa menghasilkan fiksi kreatif.

“Saya tidak menyangka satu model bahasa dapat bekerja dengan baik pada beragam tugas, mulai dari penerjemahan dan pembuatan bahasa hingga peringkasan teks dan ekstraksi entitas,” kata Joshi. "Di dalam salah satu eksperimen saya sendiri, saya menggunakan GPT-3 untuk memprediksi reaksi pembakaran kimia, dan ternyata hasilnya sangat baik.”

Lebih lanjut dari mana asalnya

Penggunaan GPT-3 yang transformatif juga tidak berakhir di situ. Ilmuwan komputer Tyler Lastovich telah menggunakan GPT-3 untuk menciptakan orang-orang palsu, termasuk backstory, yang kemudian dapat diajak berinteraksi melalui teks. Sementara itu, Andrew Mayne telah menunjukkan bahwa GPT-3 bisa digunakan untuk mengubah judul film menjadi emoji. Nick Walton, chief technology officer Latitude, studio di balik game petualangan teks yang dihasilkan GPT Penjara Bawah Tanah AI baru-baru ini melakukan hal yang sama untuk melihat apakah itu bisa berubah rangkaian deskripsi teks yang lebih panjang menjadi emoji. Dan Copy.ai, sebuah startup yang membuat alat copywriting dengan GPT-3, memanfaatkan model ini secara maksimal, dengan bulanan pendapatan berulang sebesar $67.000 per Maret — dan putaran pendanaan baru-baru ini sebesar $2,9 juta.

“Tentu saja, ada kejutan dan kekaguman atas kreativitas orang-orang yang menggunakan GPT-3,” Sandhini Agarwal, sebuah A.I. peneliti kebijakan untuk OpenAI mengatakan kepada Digital Trends. “Begitu banyak kasus penggunaan yang sangat kreatif, dan dalam domain yang bahkan tidak saya duga sebelumnya, akan ada banyak pengetahuan tentang hal tersebut. Itu menarik untuk dilihat. Namun demikian, GPT-3 – dan seluruh arah penelitian yang dilakukan OpenAI – sangat berharap bahwa hal ini akan memberi kita kemampuan A.I. model yang lebih bertujuan umum. Inti dari A.I. modelnya adalah [bahwa itu akan menjadi] salah satu model yang dapat melakukan semua A.I. tugas.”

Banyak proyek yang menyoroti salah satu nilai tambah GPT-3: kurangnya pelatihan yang diperlukan. Pembelajaran mesin telah membawa perubahan dalam berbagai hal selama beberapa dekade terakhir. Namun pembelajaran mesin memerlukan sejumlah besar contoh pelatihan agar dapat menghasilkan jawaban yang benar. GPT-3, di sisi lain, memiliki “kemampuan beberapa pukulan” yang memungkinkannya diajarkan melakukan sesuatu hanya dengan sedikit contoh.

Omong kosong yang masuk akal

GPT-3 sangat mengesankan. Namun hal ini juga menimbulkan tantangan. Beberapa di antaranya berkaitan dengan biaya: Untuk layanan bervolume tinggi seperti chatbots, yang dapat memanfaatkan keajaiban GPT-3, alat ini mungkin terlalu mahal untuk digunakan. (Satu pesan bisa berharga 6 sen yang, meskipun tidak terlalu menguras bank, namun tentu saja akan bertambah.)

Hal lain terkait dengan ketersediaannya yang luas, yang berarti akan sulit untuk membangun sebuah startup secara eksklusif karena persaingan yang ketat kemungkinan akan menurunkan margin.

Penyebab lainnya adalah kurangnya memori; jendela konteksnya berisi kurang dari 2.000 kata sebelumnya, seperti karakter Guy Pierce dalam film Kenang-kenangan, memorinya disetel ulang. “Ini secara signifikan membatasi panjang teks yang dapat dihasilkan, kira-kira hanya satu paragraf pendek per permintaan,” kata Lastovich. “Secara praktis, ini berarti tidak dapat menghasilkan dokumen yang panjang sambil tetap mengingat apa yang terjadi di awal.”

Namun, mungkin tantangan yang paling menonjol juga berkaitan dengan kekuatan terbesarnya: kemampuan konfabulasinya. Konfabulasi adalah istilah yang sering digunakan oleh dokter untuk menggambarkan kemampuan beberapa orang dengan masalah ingatan mengarang informasi yang pada awalnya tampak meyakinkan, namun belum tentu dapat dicermati jika diteliti lebih dekat inspeksi. Kemampuan GPT-3 untuk melakukan konfabulasi, tergantung pada konteksnya, merupakan kekuatan dan kelemahan. Untuk proyek-proyek kreatif, ini bisa menjadi hal yang bagus, memungkinkannya untuk mengubah tema tanpa mempedulikan hal-hal biasa seperti kebenaran. Untuk proyek lain, ini bisa jadi lebih rumit.

Francis Jervis dari Augrented mengacu pada kemampuan GPT-3 untuk “menghasilkan omong kosong yang masuk akal.” Nick Walton dari Penjara Bawah Tanah AI berkata: “GPT-3 sangat pandai menulis teks kreatif yang sepertinya bisa ditulis oleh manusia… Salah satunya Namun, kelemahannya adalah ia sering kali dapat menulis dengan sangat percaya diri — meskipun ia tidak tahu apa jawabannya. pertanyaannya adalah.”

Kembali ke Ruang Cina

Dalam hal ini, GPT-3 mengembalikan kita ke ruang Cina John Searle yang sudah dikenal. Pada tahun 1980, Searle, seorang filsuf, menerbitkan salah satu A.I. eksperimen pikiran, berfokus pada topik “pemahaman.” Ruang Cina meminta kita untuk membayangkan seseorang yang terkunci di sebuah ruangan dengan banyak tulisan dalam bahasa yang tidak mereka mengerti. Yang mereka kenali hanyalah simbol-simbol abstrak. Ruangan tersebut juga berisi seperangkat aturan yang menunjukkan bagaimana satu set simbol berhubungan dengan yang lain. Diberikan serangkaian pertanyaan yang harus dijawab, penghuni ruangan harus mencocokkan simbol pertanyaan dengan simbol jawaban. Setelah mengulangi tugas ini berkali-kali, mereka menjadi mahir melakukannya — meskipun mereka tidak tahu apa arti dari rangkaian simbol tersebut, mereka hanya tahu bahwa simbol yang satu berhubungan dengan simbol yang lain.

GPT-3 sangat jauh dari jenis linguistik A.I. yang ada pada saat Searle menulis. Namun, pertanyaan tentang pemahaman masih tetap pelik.

“Ini adalah bidang pertanyaan yang sangat kontroversial, saya yakin Anda sudah menyadarinya, karena ada begitu banyak perbedaan pendapat tentang apakah, secara umum, model bahasa… akan memiliki pemahaman yang [benar],” kata Sandhini dari OpenAI Agarwal. “Jika Anda bertanya kepada saya tentang GPT-3 saat ini, terkadang kinerjanya sangat baik, namun tidak terlalu baik di waktu lain. Ada keacakan dalam hal seberapa bermakna hasilnya bagi Anda. Terkadang Anda mungkin kagum dengan hasilnya, dan terkadang hasilnya tidak masuk akal. Oleh karena itu, saat ini menurut saya… GPT-3 tampaknya tidak memiliki pemahaman.”

Perubahan tambahan pada eksperimen Chinese Room saat ini adalah bahwa GPT-3 tidak diprogram di setiap langkah oleh tim kecil peneliti. Ini adalah model besar yang telah dilatih pada kumpulan data besar yang terdiri dari internet. Artinya, ia dapat mengambil kesimpulan dan bias yang mungkin dikodekan ke dalam teks yang ditemukan online. Pernahkah Anda mendengar ungkapan bahwa Anda adalah rata-rata dari lima orang di sekitar Anda? Ya, GPT-3 dilatih pada data teks dalam jumlah yang hampir tak terduga dari berbagai sumber, termasuk buku, Wikipedia, dan artikel lainnya. Dari sini, ia belajar memprediksi kata berikutnya dalam urutan apa pun dengan menjelajahi data pelatihannya untuk melihat kombinasi kata yang digunakan sebelumnya. Hal ini dapat menimbulkan konsekuensi yang tidak diinginkan.

Memberi makan burung beo stokastik

Tantangan dengan model bahasa yang besar ini pertama kali disorot dalam a kertas terobosan tentang apa yang disebut burung beo stokastik. Burung beo stokastik - istilah yang diciptakan oleh para penulis, yang termasuk di antara mereka adalah mantan salah satu pimpinan tim AI etis Google. tim, Timnit Gebru - mengacu pada model bahasa besar yang “secara sembarangan [menjahit] rangkaian bentuk linguistik yang telah diamati dalam data pelatihannya yang luas, berdasarkan informasi probabilistik tentang cara penggabungannya, namun tanpa referensi apa pun artinya.”

“Setelah dilatih mengenai sebagian besar internet, penting untuk menyadari bahwa hal ini akan membawa beberapa bias,” Albert Gozzi, pengguna GPT-3 lainnya, mengatakan kepada Digital Trends. “Saya tahu tim OpenAI sedang bekerja keras untuk memitigasi hal ini dengan beberapa cara berbeda, tapi saya memperkirakan ini akan menjadi masalah di [beberapa] waktu mendatang.”

Penanggulangan OpenAI untuk melawan bias mencakup filter toksisitas, yang menyaring bahasa atau topik tertentu. OpenAI juga berupaya untuk mengintegrasikan umpan balik manusia agar dapat menentukan area mana yang tidak boleh dimasuki. Selain itu, tim mengontrol akses ke alat tersebut sehingga penggunaan negatif tertentu dari alat tersebut tidak akan diberikan akses.

“Salah satu alasan mengapa Anda belum melihat terlalu banyak pengguna jahat ini adalah karena kami memiliki proses peninjauan intensif secara internal,” kata Agarwal. “Cara kami bekerja adalah setiap kali Anda ingin menggunakan GPT-3 pada produk yang benar-benar akan diterapkan, Andalah yang melakukannya harus melalui proses di mana sebuah tim — seperti, tim yang terdiri dari manusia — benar-benar meninjau bagaimana Anda ingin menggunakan dia. … Kemudian, berdasarkan kepastian bahwa itu bukan sesuatu yang berbahaya, Anda akan diberikan akses.”

Namun, beberapa di antaranya merupakan tantangan — terutama karena bias tidak selalu merupakan kasus yang jelas dalam penggunaan kata-kata tertentu. Jervis mencatat bahwa, kadang-kadang, pesan sewa GPT-3-nya “cenderung mengarah pada stereotip gender [atau] kelas asumsi." Jika dibiarkan, identitas gender subjek mungkin akan diasumsikan pada surat sewa, berdasarkan keluarga mereka peran atau pekerjaan. Ini mungkin bukan contoh A.I. bias, namun hal ini menyoroti apa yang terjadi ketika sejumlah besar data diserap dan kemudian disusun kembali secara probabilistik dalam model bahasa.

“Bias dan potensi keuntungan nyata benar-benar ada dan memerlukan upaya dari pengembang untuk menghindarinya,” kata Tyler Lastovich. “OpenAI memang menandai hasil yang berpotensi merugikan, namun pada akhirnya hal ini menambah tanggung jawab yang harus dipikirkan dengan matang oleh pelanggan sebelum memasukkan model tersebut ke dalam produksi. Kasus khusus yang sulit untuk dikembangkan adalah kecenderungan model untuk berbohong – karena model tersebut tidak memiliki konsep informasi yang benar atau salah.”

Model bahasa dan masa depan A.I.

Sembilan bulan setelah debutnya, GPT-3 benar-benar memenuhi tuntutannya sebagai game changer. Apa yang dulunya merupakan potensi murni kini telah menunjukkan potensi yang bisa diwujudkan. Banyaknya kasus penggunaan yang menarik untuk GPT-3 menyoroti bagaimana A.I. jauh lebih serbaguna daripada yang disarankan oleh deskripsi itu.

Bukan berarti itu adalah anak baru di blok ini akhir-akhir ini. Awal tahun ini, GPT-3 diambil alih sebagai model bahasa terbesar. Google Brain meluncurkan model bahasa baru dengan sekitar 1,6 triliun parameter, menjadikannya sembilan kali lipat lebih besar dari penawaran OpenAI. Hal ini juga bukan merupakan akhir dari perjalanan model bahasa. Hal ini merupakan alat yang sangat ampuh – dengan potensi untuk mengubah masyarakat, berpotensi menjadi lebih baik dan lebih buruk.

Tantangan yang ada dalam teknologi ini tentu saja ada, dan tantangan inilah yang harus terus diatasi oleh perusahaan seperti OpenAI, peneliti independen, dan lainnya. Namun secara keseluruhan, sulit untuk membantah bahwa model bahasa tidak menjadi salah satu bidang penelitian kecerdasan buatan yang paling menarik dan penting.

Siapa yang mengira pembuat teks bisa menjadi sangat penting? Selamat datang di masa depan kecerdasan buatan.

Rekomendasi Editor

• AI Analog? Kedengarannya gila, tapi mungkin itu adalah masa depan
• Bacalah 'kitab suci sintetik' yang sangat indah dari A.I. yang berpikir itu adalah Tuhan
• Arsitektur algoritmik: Haruskah kita membiarkan A.I. merancang bangunan untuk kami?
• Women with Byte: Rencana Vivienne Ming untuk memecahkan 'masalah manusia yang berantakan' dengan A.I.
• Mengapa mengajari robot bermain petak umpet bisa menjadi kunci bagi teknologi A.I.