OpenAI'nin GPT-2 metin oluşturma algoritmasının bir zamanlar yayınlanamayacak kadar tehlikeli olduğu düşünülüyordu. Daha sonra serbest bırakıldı ve dünya dönmeye devam etti.
İçindekiler
- Bu ne için iyi? Kesinlikle her şey
- Daha fazlası bunun nereden geldiği
- Makul boğa***t
- Çin Odasına Dönüş
- Stokastik papağanları beslemek
- Dil modelleri ve yapay zekanın geleceği
Geriye dönüp bakıldığında, nispeten küçük olan GPT-2 dil modeli (1,5 milyar parametreden oluşan cılız bir model), devamı olan GPT-3'ün yanında önemsiz görünüyor. 175 milyar devasa parametreye sahip olan bu veri, 45 TB metin verisi üzerinde eğitildi ve rapor edilen (en azından) 12 milyon dolara mal oldu. inşa etmek.
"Bizim bakış açımız ve o zamanki düşüncemiz, aşamalı bir gösterime sahip olmaktı; bu da başlangıçta, filmi yayınlamak gibiydi. daha küçük bir model ve bekleyip ne olacağını görüyorsunuz," diyor yapay zeka Sandhini Agarwal. OpenAI politika araştırmacısı Digital'e söyledi Trendler. “Eğer işler iyi görünüyorsa, o zaman bir sonraki model boyutunu piyasaya sürersiniz. Bu yaklaşımı benimsememizin nedeni, dürüst olmak gerekirse, bunun yalnızca bizim için keşfedilmemiş sular değil, aynı zamanda tüm dünya için de keşfedilmemiş sular olmasıdır."
İlgili
- Komik formül: Makine tarafından üretilen mizah neden yapay zekanın kutsal kâsesidir?
- Yapay zekanın geleceği: Önümüzdeki birkaç yılda dikkat edilmesi gereken 4 büyük şey
- Duygu algılayan yapay zeka burada ve bir sonraki iş görüşmenizde olabilir
Dokuz ay sonra günümüze atlayın GPT-3'ün geçen yaz piyasaya sürülmesive güç veriyor 300'den fazla başvuru günde 4,5 milyar kelime üretiyor. Bir belgenin yalnızca ilk birkaç cümlesiyle tohumlanan bu program, aynı tarzda, görünüşte sonsuz sayıda daha fazla metin üretebiliyor; hatta hayali alıntılar da dahil.
Dünyayı mı yok edecek? Geçmiş tarihe bakıldığında neredeyse kesinlikle hayır. Ancak yapay zekanın bazı oyun değiştiren uygulamalarını yapıyor. Mümkün, tüm bunlar yol boyunca çok derin sorular sorarken.
Bu ne için iyi? Kesinlikle her şey
Geçtiğimiz günlerde bir startup'ın kurucusu Francis Jervis aradı. Artırılmış, kiralarıyla mücadele eden kişilerin kira indirimleri için pazarlık yapan mektuplar yazmalarına yardımcı olmak için GPT-3'ü kullandı. Jervis, Digital Trends'e "Buradaki kullanım durumunu 'stil aktarımı' olarak tanımlarım" dedi. "Mükemmel İngilizce olması gerekmeyen madde işaretlerini [alıyor] ve resmi dilde iki ila üç cümleyi [çıkarıyor]."
Önerilen Videolar
Bu ultra güçlü dil modeliyle desteklenen Jervis'in aracı, kiracıların durumlarını ve neden indirimli bir anlaşmaya ihtiyaç duyduklarını açıklamalarına olanak tanıyor. Şirket, "Neden gelirinizi kaybettiğinize dair birkaç kelime girmeniz yeterli; birkaç saniye içinde mektubunuza ekleyebileceğiniz ikna edici, resmi bir paragraf önerisi alacaksınız" diye iddia ediyor.
Bu buzdağının sadece görünen kısmı. Ne zaman Aditya JoshiMakine öğrenimi bilimcisi ve eski Amazon Web Hizmetleri mühendisi, GPT-3 ile ilk kez karşılaştı ve gördükleri karşısında o kadar şaşırdı ki bir web sitesi kurdu. www.gpt3examples.com, en iyilerini takip etmek için.
Digital Trends'e şunları söyledi: "OpenAI API'lerini duyurduktan kısa bir süre sonra, geliştiriciler GPT-3 kullanılarak oluşturulan uygulamaların etkileyici demolarını tweetlemeye başladı." “Şaşırtıcı derecede iyiydiler. Topluluğun bu örnekleri bulmasını ve kendi alanlarındaki sorunları çözmek için GPT-3'ü kullanmanın yaratıcı yollarını keşfetmesini kolaylaştırmak için [web sitemi] oluşturdum."
GPT-3 ile tamamen etkileşimli sentetik kişiler ve https://t.co/ZPdnEqR0Hn 🎇
Kim olduklarını, nerede çalıştıklarını, patronlarının kim olduğunu ve çok daha fazlasını biliyorlar. Bu babanın robotu değil… pic.twitter.com/kt4AtgYHZL
— Tyler Lastovich (@tylerlastovich) 18 Ağustos 2020
Joshi, kendisini gerçekten etkileyen birkaç demoya dikkat çekiyor. Bir, bir düzen oluşturucu, basit bir metin açıklamasından JavaScript kodu oluşturarak işlevsel bir düzen oluşturur. Karpuz şeklinde "abone ol" yazan bir düğme ister misiniz? Gökkuşağının renklerinde bir dizi düğme içeren bir banner metni ister misiniz? Bunları basit bir metinle açıklamanız yeterli; Sharif Shameem'in düzen oluşturucusu sizin için kodu yazacaktır. Başka bir, bir GPT-3 tabanlı arama motoru Paras Chopra tarafından oluşturulan, herhangi bir yazılı sorguyu cevaba ve daha fazla bilgi sağlamak için bir URL bağlantısına dönüştürebilir. Bir diğeri, Michael Tefula'nın yazdığı Francis Jervis'in tersi. hukuki belgeleri tercüme eder sade İngilizceye. Yine Raphaël Millière'den bir başkası, felsefi makaleler yazıyor. Ve Gwern Branwen'in yazdığı bir diğeri yaratıcı kurgu üretmek.
Joshi, "Tek bir dil modelinin, dil çevirisi ve oluşturulmasından metin özetleme ve varlık çıkarmaya kadar bu kadar çeşitli görevlerde bu kadar iyi performans göstermesini beklemiyordum" dedi. "İçinde kendi denemelerimden biri, kimyasal yanma reaksiyonlarını tahmin etmek için GPT-3'ü kullandım ve şaşırtıcı derecede başarılı oldu."
Daha fazlası bunun nereden geldiği
GPT-3'ün dönüştürücü kullanımları da burada bitmiyor. Bilgisayar uzmanı Tyler Lastovich GPT-3'ü kullanarak sahte insanlar yarat, arka plan hikayesi de dahil olmak üzere, daha sonra metin yoluyla kiminle etkileşime geçilebilecek. Bu arada Andrew Mayne, GPT-3'ün kullanılabileceğini gösterdi. film başlıklarını emojilere dönüştürmek için kullanılır. Nick Walton, GPT tarafından oluşturulan metin macera oyununun arkasındaki stüdyo olan Latitude'un baş teknoloji sorumlusu Yapay Zeka Zindanı yakın zamanda dönüp dönemeyeceğini görmek için aynısını yaptım emojiye daha uzun metin açıklaması dizeleri. Ve GPT-3 ile metin yazarlığı araçları geliştiren bir girişim olan Copy.ai, aylık olarak modelden sonuna kadar faydalanıyor. 67.000 $'lık sürekli gelir Mart itibarıyla - ve yakın zamanda 2,9 milyon dolarlık bir finansman turu.
Makine öğrenimi, son birkaç on yılda her açıdan oyunun kurallarını değiştiren bir gelişme oldu.
"İnsanların GPT-3'ü kullandıkları yaratıcılık açısından kesinlikle hem sürpriz hem de büyük bir hayranlık vardı." Sandhini Agarwal, bir A.I. OpenAI politika araştırmacısı Digital Trends'e şunları söyledi: "Pek çok kullanım örneği o kadar yaratıcı ki, benim bile öngöremediğim alanlarda hakkında çok fazla bilgi sahibi olabilirim. Bunu görmek ilginç. Ancak bununla birlikte GPT-3 ve OpenAI'nin takip ettiği tüm araştırma yönü, bunun bize bir yapay zeka vereceği umudunu taşıyordu. daha genel amaçlı bir modeldi. Genel amaçlı bir yapay zekanın asıl amacı. model, tüm bu farklı yapay zekayı yapabilen bir modeldir. görevler."
Projelerin çoğu, GPT-3'ün en büyük katma değerlerinden birinin altını çiziyor: Gerektirdiği eğitim eksikliği. Makine öğrenimi son birkaç on yılda her açıdan dönüştürücü oldu. Ancak makine öğrenimi, doğru yanıtların çıktısını alabilmek için çok sayıda eğitim örneği gerektirir. Öte yandan GPT-3, yalnızca bir avuç dolusu örnekle bir şeyler yapmayı öğretmeye olanak tanıyan "birkaç atış yeteneğine" sahiptir.
Makul boğa***t
GPT-3 oldukça etkileyici. Ama aynı zamanda zorlukları da beraberinde getiriyor. Bunlardan bazıları maliyetle ilgilidir: GPT-3'ün büyüsünden yararlanabilecek sohbet robotları gibi yüksek hacimli hizmetler için aracın kullanımı çok pahalı olabilir. (Tek bir mesaj 6 sente mal olabilir, bu da tam olarak bankayı zorlayan bir rakam olmasa da kesinlikle bir miktara denk geliyor.)
Diğerleri ise yaygın kullanılabilirliğiyle ilgilidir; bu, şiddetli rekabetin muhtemelen marjları düşüreceğinden, yalnızca bir startup kurmanın muhtemelen zor olacağı anlamına gelir.
Bir diğeri hafıza eksikliğidir; Guy Pierce'ın filmdeki karakteri gibi bağlam penceresi daha önce 2.000 kelimenin biraz altında çalışıyordu Hatıra, hafızası sıfırlanır. Lastovich, "Bu, üretebileceği metnin uzunluğunu önemli ölçüde sınırlıyor, kabaca istek başına kısa bir paragrafa kadar." dedi. "Pratik olarak konuşursak, bu, başlangıçta ne olduğunu hala hatırlarken uzun belgeler oluşturamadığı anlamına geliyor."
Ancak belki de en dikkate değer zorluk, aynı zamanda en büyük gücüyle de ilgilidir: Konuşma yetenekleri. Konfabülasyon, doktorlar tarafından hafıza sorunları olan bazı kişilerin nasıl konuşabildiğini tanımlamak için sıklıkla kullanılan bir terimdir. Başlangıçta ikna edici görünen ancak daha yakından incelendiğinde pek de dayanıklı olmayan bilgiler uydurmak denetleme. GPT-3'ün hayal kurma yeteneği, bağlama bağlı olarak hem güçlü hem de zayıftır. Yaratıcı projeler için, gerçek gibi sıradan hiçbir şeyi umursamadan temalar üzerinde durabilmesi harika olabilir. Diğer projeler için durum daha yanıltıcı olabilir.
Augrented'dan Francis Jervis, GPT-3'ün "makul saçmalık üretme" yeteneğinden bahsediyor. Nick Walton Yapay Zeka Zindanı şunları söyledi: “GPT-3, sanki bir insan tarafından yazılmış gibi görünen yaratıcı metinler yazma konusunda çok iyi… Ancak zayıf yönleri çoğu zaman kendinden çok eminmiş gibi yazabilmesidir - bir sorunun cevabının ne olduğu hakkında hiçbir fikri olmasa bile soru şu ki."
Çin Odasına Dönüş
Bu bağlamda GPT-3 bizi John Searle'ın Çin Odası gibi tanıdık bir zemine geri götürüyor. 1980 yılında bir filozof olan Searle şunları yayınladı: en iyi bilinen A.I. düşünce deneyleri, "anlama" konusuna odaklandı. Çin Odası bizden, bir odada kilitli kalmış, anlamadığı bir dilde bir yığın yazıyla dolu bir insanı hayal etmemizi istiyor. Tanıdıkları tek şey soyut sembollerdir. Oda aynı zamanda bir sembol grubunun diğerine nasıl karşılık geldiğini gösteren bir dizi kural da içerir. Cevaplaması gereken bir dizi soru verildiğinde, odadaki kişinin soru sembollerini cevap sembolleriyle eşleştirmesi gerekir. Bu görevi birçok kez tekrarladıktan sonra, bunu gerçekleştirmekte ustalaşırlar; her iki sembol grubunun da ne anlama geldiğine dair hiçbir fikirleri olmasa da, yalnızca biri diğerine karşılık gelir.
GPT-3, dilsel yapay zeka türlerinden çok uzak bir dünyadır. Searle'ün yazdığı sırada bu mevcuttu. Ancak anlama sorunu her zamanki gibi çetrefilli.
"Bu çok tartışmalı bir sorgulama alanı, eminim sizin de farkındasınızdır, çünkü pek çok farklı konu var. OpenAI'den Sandhini, "Genel olarak dil modellerinin herhangi bir zamanda [gerçek] anlayışa sahip olup olmayacağına dair görüşler" dedi. Agarwal. “Şu anda bana GPT-3'ü sorarsanız bazen çok iyi performans gösteriyor, bazen de pek iyi performans göstermiyor. Çıktının size ne kadar anlamlı görünebileceği konusunda bir bakıma bu rastgelelik var. Bazen çıktı karşısında hayrete düşebilirsiniz, bazen de çıktı tamamen saçma olacaktır. Bunu göz önünde bulundurursak, şu anda benim fikrime göre... GPT-3'ün anlayışa sahip olduğu görünmüyor."
Bugün Çin Odası deneyine eklenen bir başka değişiklik de GPT-3'ün her adımda küçük bir araştırmacı ekibi tarafından programlanmamasıdır. Bu, internetten oluşan muazzam bir veri kümesi üzerinde eğitilmiş devasa bir model. Bu, çevrimiçi olarak bulunan metinlere kodlanmış olabilecek çıkarımları ve önyargıları tespit edebileceği anlamına gelir. Çevrenizdeki beş kişinin ortalamasısınız ifadesini duydunuz mu? GPT-3; kitaplar, Vikipedi ve diğer makaleler de dahil olmak üzere birçok kaynaktan gelen neredeyse akıl almaz miktardaki metin verileriyle eğitildi. Bundan sonra, daha önce kullanılan kelime kombinasyonlarını görmek için eğitim verilerini tarayarak herhangi bir sıradaki bir sonraki kelimeyi tahmin etmeyi öğrenir. Bunun istenmeyen sonuçları olabilir.
Stokastik papağanları beslemek
Büyük dil modelleriyle ilgili bu zorluk ilk kez bir çalışmada vurgulanmıştır. çığır açan kağıt sözde stokastik papağanlar konusunda. Stokastik bir papağan — Google'ın etik yapay zeka biriminin eski eşbaşkanını da aralarına alan yazarlar tarafından türetilen bir terim. Timnit Gebru ekibi, geniş bir dil modelini ifade eder. “Engin eğitim verilerinde gözlemlediği dilsel form dizilerini, bunların nasıl bir araya geldiğine dair olasılıksal bilgilere göre, ancak herhangi bir referans olmadan gelişigüzel bir şekilde [dikiyor] anlam için.”
"İnternetin büyük bir kısmı hakkında eğitim almış biri olarak, onun bazı önyargıları taşıyacağını kabul etmek önemli." Albert GozziBaşka bir GPT-3 kullanıcısı Digital Trends'e şunları söyledi. "OpenAI ekibinin bunu birkaç farklı şekilde hafifletmek için çok çalıştığını biliyorum, ancak bunun bir süre daha sorun olmasını bekliyorum."
OpenAI'nin önyargıya karşı savunma önlemleri arasında belirli dil veya konuları filtreleyen bir toksisite filtresi yer alıyor. OpenAI ayrıca hangi alanlara sapılmaması gerektiğini belirleyebilmek için insan geri bildirimlerini entegre etmenin yolları üzerinde de çalışıyor. Ayrıca ekip, aracın belirli olumsuz kullanımlarına erişim izni verilmemesi için araca erişimi kontrol eder.
"Önyargı ve açık geri dönüş potansiyeli kesinlikle mevcuttur ve geliştiricilerin bunu önlemek için çaba göstermesini gerektirir."
Agarwal, "Belki de bu kötü niyetli kullanıcıların çoğunu görmemiş olmanızın nedenlerinden biri, dahili olarak yoğun bir inceleme sürecimizin olmasıdır" dedi. "Çalışma şeklimiz şu şekildedir: Gerçekte konuşlandırılacak bir üründe GPT-3'ü her kullanmak istediğinizde, bir ekibin (örneğin insanlardan oluşan bir ekip) aslında nasıl kullanmak istediğinizi gözden geçirdiği bir süreçten geçmeniz gerekir BT. … Ardından, bunun kötü amaçlı bir şey olmadığından emin olmak şartıyla, size erişim izni verilecek.”
Ancak bunların bir kısmı zorlayıcıdır; özellikle de önyargının her zaman belirli kelimelerin kullanımında net bir durum olmadığı için. Jervis, GPT-3 kira mesajlarının zaman zaman "basmakalıp cinsiyet [veya] sınıfa yönelebileceğini" belirtiyor varsayımlar.” Gözetimsiz bırakıldığında, aileye bağlı olarak bir kira mektubunda deneğin cinsiyet kimliğini üstlenebilir rol veya iş. Bu, yapay zekanın en acı örneği olmayabilir. önyargı, ancak büyük miktarda veri alındığında ve ardından bir dil modelinde olasılıksal olarak yeniden birleştirildiğinde ne olacağını vurgular.
Tyler Lastovich, "Önyargı ve açık geri dönüş potansiyeli kesinlikle mevcuttur ve geliştiricilerin bunu önlemek için çaba göstermesini gerektirir" dedi. "OpenAI potansiyel olarak toksik sonuçları işaretliyor, ancak sonuçta müşterilerin modeli üretime sokmadan önce iyice düşünmeleri gereken bir sorumluluk ekliyor. Geliştirilmesi özellikle zor olan bir uç durum, modelin yalan söyleme eğilimidir; çünkü modelde doğru veya yanlış bilgi kavramı yoktur."
Dil modelleri ve yapay zekanın geleceği
İlk çıkışından dokuz ay sonra, GPT-3 kesinlikle oyunun kurallarını değiştiren bir ürün olarak faturasının hakkını veriyor. Bir zamanlar tamamen potansiyel olan şey, potansiyelin gerçekleştiğini gösterdi. GPT-3'ün ilgi çekici kullanım örneklerinin sayısı, metin üreten bir yapay zekanın nasıl çalıştığını vurguluyor. bu tanımın önerebileceğinden çok daha çok yönlüdür.
Bugünlerde bloktaki yeni çocuk olduğundan değil. Bu yılın başlarında GPT-3, en büyük dil modeli olarak geride kaldı. Google Brain yeni bir dil modelini tanıttı yaklaşık 1,6 trilyon parametreyleBu da onu OpenAI'nin teklifinin dokuz katı büyüklüğünde yapıyor. Bunun dil modelleri açısından yolun sonu olması da muhtemel değildir. Bunlar son derece güçlü araçlardır; toplumu hem iyiye hem de kötüye dönüştürme potansiyeline sahiptir.
Bu teknolojilerde kesinlikle zorluklar var ve bunlar OpenAI gibi şirketlerin, bağımsız araştırmacıların ve diğerlerinin ele almaya devam etmesi gereken zorluklar. Ancak bir bütün olarak ele alındığında dil modellerinin yapay zeka araştırmalarının en ilginç ve önemli alanlarından biri haline gelmediğini iddia etmek zor.
Metin oluşturucuların bu kadar önemli olabileceği kimin aklına gelirdi? Yapay zekanın geleceğine hoş geldiniz.
Editörlerin Önerileri
- Analog yapay zeka mı? Çılgınca gelebilir ama gelecek olabilir
- Bir A.I.'nin tüyler ürpertici derecede güzel "sentetik kutsal kitabını" okuyun. kendini Tanrı sanan
- Algoritmik mimari: A.I.'ye izin vermeli miyiz? Bizim için bina mı tasarlıyorsunuz?
- Byte'lı Kadınlar: Vivienne Ming'in 'dağınık insan sorunlarını' yapay zeka ile çözme planı.
- Robotlara saklambaç oynamayı öğretmek neden yeni nesil yapay zekanın anahtarı olabilir?
