GPT-3: OpenAI'nin Yeni Metin Üreten Sinir Ağı Geldi

Metin oluşturma algoritması GPT-2 2019'da oluşturulduğunda en çok "tehlikeli” A.I. Tarihteki algoritmalar. Aslında bazıları bunun o kadar tehlikeli olduğunu ve hiçbir zaman kamuya açıklanmaması gerektiğini savundu (spoiler: öyleydi).robot kıyameti.” Elbette bu hiçbir zaman gerçekleşmedi. GPT-2 sonunda halka sunuldu ve dünyayı yok etmeyi başaramayınca yaratıcıları bir sonraki adıma geçti. Peki şimdiye kadar yaratılmış en tehlikeli algoritmayı nasıl takip edeceksiniz?

Cevap, en azından kağıt üzerinde basit: Başarılı bir filmin devamı gibi, daha büyük, daha kötü ve daha pahalı bir şey yaparsınız. İlkinde yalnızca bir ksenomorf Yabancı? Devam filmine bunlardan bir yuva ekleyin, Uzaylılar. Gelecekten gönderilen neredeyse yok edilemez tek bir makine. Terminatör? İzleyicilere uğraşmaları için iki tane verin Terminatör 2: Kıyamet Günü.

Aynı şey A.I. için de geçerli. - bu durumda, GPT-3, bir zamanlar yapay zeka araştırma laboratuvarı olan OpenAI tarafından oluşturulan, yakın zamanda piyasaya sürülen bir doğal dil işleme sinir ağıdır (

ama artık değil) SpaceX ve Tesla CEO'su Elon Musk sponsorluğunda.

GPT-3, bir dizi metin üreten sinir ağının en sonuncusudur. GPT adı, 2017'ye atıfta bulunan Üretken Önceden Eğitimli Transformatör anlamına gelir. Google'ın Transformer adlı yeniliği Bu, belirli bir kelimenin çevresindeki kelimelerle birlikte görünme olasılığını belirleyebilir. Bir haberin başlangıcı gibi birkaç cümleyle beslenen GPT önceden eğitilmiş dil modeli uydurulmuş formülasyonlar da dahil olmak üzere ikna edici derecede doğru devamlar üretebilir alıntılar.

Bu nedenle bazıları, bunun gibi sahte metinler oluşturmaya yardımcı olarak tehlikeli olduğunu kanıtlayabileceğinden endişe ediyor. derin sahtekarlıklar, abilir Sahte haberlerin çevrimiçi yayılmasına yardımcı olun. Artık GPT-3 ile her zamankinden daha büyük ve daha akıllı.

Kasetin hikayesi

GPT-3, boks tarzı bir "kaset hikayesi" karşılaştırmasının açıkça ortaya koyacağı gibi, bir yarışmacının gerçek bir ağır sıklet dövüşçüdür. OpenAI'nin orijinal 2018 GPT'sinde, bir sinir ağının öğrenmesini sağlayan bağlantıların ağırlıklarına atıfta bulunan 110 milyon parametre vardı. Potansiyel kötü amaçlı uygulamalarla ilgili önceki kargaşanın büyük bir kısmına neden olan 2019'un GPT-2'si 1,5 milyar parametreye sahipti. Geçen ayMicrosoft, 17 milyar parametreye sahip, o zamanlar dünyanın en büyük benzer önceden eğitilmiş dil modelini tanıttı. 2020'nin devasa GPT-3'ü, kıyaslandığında şaşırtıcı bir performansa sahip 175 milyar parametreler. Eğitimin yaklaşık 12 milyon dolara mal olduğu bildirildi.

"Bu modellerin gücü, bir sonraki kelimeyi başarılı bir şekilde tahmin etmek için gerçekten güçlü bir dünyayı öğrenmeleridir. Latitude'un baş teknoloji sorumlusu Nick Walton, "Her türlü ilginç şey için kullanılabilecek modeller var" dedi. arka yapay zeka ZindanGPT-2 tarafından desteklenen yapay zeka tarafından oluşturulan bir metin macera oyunu olan Digital Trends'e söyledi. "Ayrıca, modelin ön eğitimde öğrendiği bilgiyi korurken, nesli belirli bir yönde şekillendirmek için temel modellerde ince ayar yapabilirsiniz."

Gwern BranwenPsikoloji, istatistik ve teknoloji hakkında yazan bir yorumcu ve araştırmacı olan Digital Trends'e şunları söyledi: GPT'nin temsil ettiği önceden eğitilmiş dil modeli, "herhangi bir makine öğrenimi görevinin giderek daha kritik bir parçası haline geldi" metin üzerinde. Aynı şekilde, görüntüyle ilgili pek çok görevin [standart öneri] 'bir [evrişimli sinir ağı], dille ilgili birçok görev, 'ince ayarlı bir modeli.”

Bu makale için yorum yapmayı reddeden OpenAI, doğal dil işleme konusunda etkileyici çalışmalar yapan tek şirket değil. Bahsedildiği gibi Microsoft, kendi göz kamaştırıcı çalışmalarıyla bu seviyeye adım attı. FacebookBu arada teknolojiye yoğun yatırım yapıyor ve aşağıdaki gibi atılımlar yarattı: BlenderBot, şimdiye kadarki en büyük açık kaynaklı, açık alanlı sohbet robotu. İnsan değerlendiricilere göre katılım açısından diğerlerinden daha iyi performans gösteriyor ve aynı zamanda daha insani hissettiriyor. Geçtiğimiz birkaç yılda bilgisayar kullanan herkesin bileceği gibi, makineler bizi her zamankinden daha iyi anlıyor ve bunun nedeni de doğal dil işleme.

Boyut önemlidir

Ancak OpenAI'nin GPT-3'ü, rekor kıran ölçeğinde hala tek başına duruyor. Araştırma mühendisi Joe Davison, "GPT-3, öncelikle boyutundan dolayı ilgi çekiyor" dedi. Sarılma YüzAçık kaynaklı araçlar geliştirerek ve temel araştırmalar yürüterek doğal dil işlemenin ilerlemesi üzerinde çalışan bir girişim olan Digital Trends'e şunları söyledi:

Asıl soru tüm bunların ne için kullanılacağıdır. GPT-2, çeşitli metin oluşturma sistemlerinde kullanılmak üzere sayısız kullanıma girmiştir.

Davison, GPT-3'ün boyutu nedeniyle sınırlı olabileceği konusunda bazı uyarılarda bulundu. "OpenAI ekibi tartışmasız bir şekilde bu modellerin ne kadar büyük olabileceğinin sınırlarını zorladı ve bunları büyütmenin göreve özgü verilere bağımlılığımızı azalttığını gösterdi" dedi. "Ancak GPT-3'ü gerçek dünyada kullanmak için gereken hesaplama kaynakları onu son derece kullanışsız hale getiriyor. Dolayısıyla çalışma kesinlikle ilginç ve anlayışlı olsa da, bunu alan için ileriye doğru büyük bir adım olarak adlandıramam."

Ancak diğerleri aynı fikirde değil. “[internal-link post_id="NN"]yapay zeka[/internal-link] topluluğu, giderek daha büyük modelleri giderek daha fazla veriyle birleştirmenin uzun süredir gözlemlediğini Yapay Zeka Uzmanı Yannic Kilcher, Moore'un bilgi işlem gücünü ölçeklendirme Yasasına çok benzer şekilde, bu modellerin gücünde neredeyse öngörülebilir gelişmeler sağlıyor. araştırmacı DSÖ bir YouTube kanalı işletiyor, Digital Trends'e söyledi. “Ancak, aynı Moore Yasası gibi, pek çok kişi dil modellerini basitçe ölçeklendirerek geliştirebilmenin sonuna geldiğimizi öne sürüyor. Daha yüksek performans elde etmek için yeni mimariler veya eğitim açısından önemli buluşlar yapmamız gerekir. yöntemler. GPT-3 bunun doğru olmadığını ve performansı yalnızca ölçeklendirme yoluyla artırma yeteneğinin kesintisiz göründüğünü ve görünürde aslında bir son olmadığını gösteriyor."

Turing Testini Geçmek mi?

Branwen, GPT-3 gibi araçların büyük bir yıkıcı güç olabileceğini öne sürüyor. "Bunu düşünmenin bir yolu, hangi işlerin bir metin parçasını almayı, onu dönüştürmeyi ve başka bir metin parçasını yayınlamayı içerdiğidir?" Branwen dedi. "Bununla tanımlanan tıbbi kodlama, faturalandırma, resepsiyon görevlileri, müşteri hizmetleri [ve daha fazlası] gibi herhangi bir iş, GPT-3'te ince ayar yapmak ve o kişiyi değiştirmek için iyi bir hedef olacaktır. Pek çok iş aşağı yukarı 'alanları bir e-tablodan veya PDF'den başka bir e-tabloya veya PDF'ye kopyalamak' ve bu tür ofis otomasyonudur; bu da çok kaotiktir. Değiştirilecek normal bir programı kolayca yazabilir, GPT-3'e karşı savunmasız olabilir çünkü tüm istisnaları ve farklı kuralları öğrenebilir ve insan kadar iyi performans gösterebilir. istemek."

Sonuçta, doğal dil işleme, yapay zekanın yalnızca bir parçası olabilir, ancak bu alandaki diğer birkaç disiplinin yaptığı gibi, yapay zeka rüyasının özüne indiği tartışılabilir. ünlü Turing TestiAlanı başlatan ufuk açıcı tartışmalardan biri, doğal dil işleme sorunudur: Bir yapay zeka oluşturabilir misiniz? kendini ikna edici bir şekilde bir kişi olarak gösterebilen? OpenAI'nin son çalışması kesinlikle bu hedefi ilerletiyor. Şimdi geriye araştırmacıların bunun için hangi uygulamaları bulacağını görmek kaldı.

Branwen, "GPT-2 metninin insan sanılması o kadar kolay ki, onu 'sadece kalıp tanıma' veya 'sadece ezberleme' olarak ele almanın zorlaştığı gerçeğini düşünüyorum" dedi. "Derin öğrenmenin yaptığı şeylerin zekaya hiç benzemediğinden emin olan herkesin, bunun ne kadar ilerlediğini görmek için inancının sarsılmış olması gerekir."

Editörlerin Önerileri

• En iyi yazarlar, çalışmalarını kullanmaları karşılığında yapay zeka firmalarından ödeme talep ediyor
• ChatGPT yapımcısı OpenAI, tüketici koruma yasaları nedeniyle FTC soruşturmasıyla karşı karşıya
• OpenAI, süper akıllı yapay zekanın kötüye gitmesini durdurmak için yeni ekip kuruyor
• ChatGPT yaratıcısı, chatbot 'halüsinasyonlarını' ortadan kaldırmaya çalışıyor
• OpenAI'nin yeni ChatGPT uygulaması iPhone ve iPad için ücretsiz