Come GPT-3 sta inaugurando silenziosamente l'A.I. Rivoluzione

Per cosa è buono? Assolutamente tutto

Recentemente, Francis Jervis, il fondatore di una startup chiamata Aumentato, ha utilizzato GPT-3 per aiutare le persone alle prese con l'affitto a scrivere lettere per negoziare sconti sull'affitto. "Descriverei il caso d'uso qui come 'trasferimento di stile'", ha detto Jervis a Digital Trends. "[Inserisce] elenchi puntati, che non devono nemmeno essere in un inglese perfetto, e [produce] due o tre frasi in un linguaggio formale."

Alimentato da questo modello linguistico ultra potente, lo strumento di Jervis consente agli affittuari di descrivere la loro situazione e il motivo per cui hanno bisogno di un accordo scontato. "Basta inserire un paio di parole sul motivo per cui hai perso reddito e in pochi secondi riceverai un paragrafo formale, persuasivo e suggerito da aggiungere alla tua lettera", afferma la società.

Questa è solo la punta dell'iceberg. Quando Aditya Joshi, uno scienziato specializzato nell'apprendimento automatico ed ex ingegnere di Amazon Web Services, si è imbattuto per la prima volta in GPT-3 ed è rimasto così sbalordito da ciò che ha visto che ha creato un sito web, www.gpt3examples.com, per tenere traccia dei migliori.

"Poco dopo che OpenAI ha annunciato la sua API, gli sviluppatori hanno iniziato a twittare demo impressionanti di applicazioni realizzate utilizzando GPT-3", ha dichiarato a Digital Trends. “Erano sorprendentemente bravi. Ho creato [il mio sito web] per consentire alla comunità di trovare facilmente questi esempi e scoprire modi creativi di utilizzare GPT-3 per risolvere problemi nel proprio dominio."

Personaggi sintetici completamente interattivi con GPT-3 e https://t.co/ZPdnEqR0Hn 🎇

Sanno chi sono, dove hanno lavorato, chi è il loro capo e molto altro ancora. Questo non è il robot di tuo padre... pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18 agosto 2020

Joshi indica diverse demo che lo hanno davvero colpito. Uno, a generatore di layout, esegue il rendering di un layout funzionale generando codice JavaScript da una semplice descrizione testuale. Vuoi un pulsante con la scritta "iscriviti" a forma di anguria? Hai voglia di un testo per banner con una serie di pulsanti dei colori dell'arcobaleno? Spiegali semplicemente nel testo di base e il generatore di layout di Sharif Shameem scriverà il codice per te. Un altro, a Motore di ricerca basato su GPT-3 creato da Paras Chopra, può trasformare qualsiasi domanda scritta in una risposta e un collegamento URL per fornire ulteriori informazioni. Un altro, l’inverso di quello di Francis Jervis di Michael Tefula, traduce documenti legali in un inglese semplice. Un altro ancora, di Raphaël Millière, scrive saggi filosofici. E un altro, di Gwern Branwen, può farlo generare finzione creativa.

"Non mi aspettavo che un singolo modello linguistico funzionasse così bene su una gamma così diversificata di attività, dalla traduzione e generazione di lingue al riepilogo del testo e all'estrazione di entità", ha affermato Joshi. "In uno dei miei esperimenti, ho usato GPT-3 per prevedere le reazioni di combustione chimica, e ha funzionato sorprendentemente bene."

Altro da dove viene

Anche gli usi trasformativi di GPT-3 non finiscono qui. Informatico Tyler Lastovich ha utilizzato GPT-3 per creare persone false, compreso il retroscena, con cui è possibile interagire tramite testo. Nel frattempo, Andrew Mayne ha dimostrato che GPT-3 può esserlo utilizzato per trasformare i titoli dei film in emoji. Nick Walton, responsabile tecnologico di Latitude, lo studio dietro il gioco di avventure testuali generato da GPT Dungeon dell'IA recentemente ho fatto lo stesso per vedere se poteva girare stringhe più lunghe di descrizione testuale in emoji. E Copy.ai, una startup che crea strumenti di copywriting con GPT-3, sta sfruttando il modello per tutto ciò che vale, con un mensile entrate ricorrenti di $ 67.000 a marzo – e un recente round di finanziamento da 2,9 milioni di dollari.

"Sicuramente c'è stata sorpresa e molto stupore in termini di creatività per cui le persone hanno utilizzato GPT-3," Sandhini Agarwal, un'I.A. ha detto a Digital Trends un ricercatore politico per OpenAI. “Molti casi d’uso sono davvero creativi e in ambiti che nemmeno io avevo previsto avrei molta conoscenza. È interessante da vedere. Detto questo, GPT-3 – e tutta questa direzione di ricerca perseguita da OpenAI – sperava fortemente che questo ci avrebbe dato un’A.I. modello più generico. Il punto centrale di un'A.I. modello è [che sarebbe] un modello a cui piacerebbe fare tutte queste diverse A.I. compiti."

Molti progetti evidenziano uno dei grandi valori aggiunti di GPT-3: la mancanza di formazione richiesta. L’apprendimento automatico ha apportato trasformazioni in tutti i modi negli ultimi due decenni. Ma l’apprendimento automatico richiede un gran numero di esempi di formazione per poter fornire risposte corrette. GPT-3, d'altra parte, ha una "capacità di pochi tiri" che gli consente di insegnargli a fare qualcosa con solo una piccola manciata di esempi.

Ca**o plausibile

GPT-3 è davvero impressionante. Ma pone anche delle sfide. Alcuni di questi riguardano i costi: per servizi ad alto volume come i chatbot, che potrebbero trarre vantaggio dalla magia di GPT-3, lo strumento potrebbe essere troppo costoso da utilizzare. (Un singolo messaggio potrebbe costare 6 centesimi, il che, pur non essendo esattamente una bancarotta, fa sicuramente la differenza.)

Altri si riferiscono alla sua diffusa disponibilità, il che significa che probabilmente sarà difficile costruire una startup esclusivamente attorno a questo, poiché la forte concorrenza probabilmente ridurrà i margini.

Un'altra è la mancanza di memoria; la sua finestra di contesto contiene poco meno di 2.000 parole alla volta prima, come il personaggio di Guy Pierce nel film Ricordo, la sua memoria viene reimpostata. "Ciò limita in modo significativo la lunghezza del testo che può generare, all'incirca a un breve paragrafo per richiesta", ha affermato Lastovich. "In pratica, ciò significa che non è in grado di generare documenti lunghi ricordando ancora cosa è successo all'inizio."

Forse la sfida più notevole, tuttavia, riguarda anche il suo più grande punto di forza: le sue capacità di confabulazione. Confabulazione è un termine spesso usato dai medici per descrivere il modo in cui alcune persone con problemi di memoria riescono a farlo fabbricare informazioni che inizialmente sembrano convincenti, ma che non necessariamente reggono a un esame più attento ispezione. La capacità di confabulare di GPT-3 è, a seconda del contesto, un punto di forza e un punto di debolezza. Per i progetti creativi, può essere fantastico, permettendogli di rielaborare temi senza preoccuparsi di qualcosa di banale come la verità. Per altri progetti, può essere più complicato.

Francis Jervis di Augrented si riferisce alla capacità di GPT-3 di "generare stronzate plausibili". Nick Walton di Dungeon dell'IA ha detto: "GPT-3 è molto bravo a scrivere testo creativo che sembra essere stato scritto da un essere umano... Uno dei suoi Il suo punto debole, però, è che spesso riesce a scrivere come se fosse molto fiducioso, anche se non ha idea di quale sia la risposta a una domanda. la domanda è."

Di nuovo nella stanza cinese

A questo proposito, GPT-3 ci riporta al terreno familiare della Chinese Room di John Searle. Nel 1980 Searle, un filosofo, pubblicò uno dei più noti A.I. esperimenti mentali, incentrato sul tema della “comprensione”. The Chinese Room ci chiede di immaginare una persona chiusa in una stanza con una massa di scritte in una lingua che non capisce. Tutto ciò che riconoscono sono simboli astratti. La stanza contiene anche una serie di regole che mostrano come un insieme di simboli corrisponde a un altro. Data una serie di domande a cui rispondere, l’occupante della stanza deve abbinare i simboli della domanda con i simboli della risposta. Dopo aver ripetuto questo compito molte volte, diventano abili nell'eseguirlo, anche se non hanno idea di cosa significhino entrambi i simboli, sanno solo che uno corrisponde all'altro.

GPT-3 è un mondo lontano dai tipi di intelligenza artificiale linguistica. che esisteva al tempo in cui Searle scriveva. Tuttavia, la questione della comprensione è più spinosa che mai.

“Questo è un ambito molto controverso in cui fare domande, come sicuramente saprai, perché ci sono così tante differenze opinioni sulla possibilità che, in generale, i modelli linguistici... possano mai avere una [vera] comprensione", ha affermato Sandhini di OpenAI Agarwal. “Se mi chiedi informazioni su GPT-3 in questo momento, a volte funziona molto bene, ma altre volte non molto bene. C'è questa casualità in un certo senso su quanto significativo potrebbe sembrarti l'output. A volte potresti rimanere stupito dal risultato, a volte il risultato sarà semplicemente privo di senso. Detto questo, in questo momento secondo me... GPT-3 non sembra avere comprensione."

Un’ulteriore svolta nell’esperimento della Stanza Cinese oggi è che GPT-3 non è programmato in ogni fase da un piccolo team di ricercatori. È un modello enorme che è stato addestrato su un enorme set di dati costituito, beh, da Internet. Ciò significa che può raccogliere inferenze e pregiudizi che potrebbero essere codificati nel testo trovato online. Hai sentito l'espressione secondo cui sei una media delle cinque persone di cui ti circondi? Ebbene, GPT-3 è stato addestrato su quantità quasi insondabili di dati di testo provenienti da più fonti, inclusi libri, Wikipedia e altri articoli. Da ciò, impara a prevedere la parola successiva in qualsiasi sequenza analizzando i dati di addestramento per vedere le combinazioni di parole utilizzate in precedenza. Ciò può avere conseguenze indesiderate.

Nutrire i pappagalli stocastici

Questa sfida con i grandi modelli linguistici è stata evidenziata per la prima volta in a carta innovativa sul tema dei cosiddetti pappagalli stocastici. Un pappagallo stocastico – termine coniato dagli autori, che includevano tra le loro fila l’ex co-responsabile dell’etica A.I. team, Timnit Gebru - si riferisce a un ampio modello linguistico che “[cuce] insieme a casaccio sequenze di forme linguistiche che ha osservato nei suoi vasti dati di addestramento, secondo informazioni probabilistiche su come si combinano, ma senza alcun riferimento al significato”.

"Essendo formati su gran parte di Internet, è importante riconoscere che porterà con sé alcuni dei suoi pregiudizi", Alberto Gozzi, ha detto a Digital Trends un altro utente GPT-3. "So che il team di OpenAI sta lavorando duramente per mitigare questo problema in diversi modi, ma mi aspetto che questo diventi un problema per [un po'] di tempo a venire."

Le contromisure di OpenAI per difendersi dai pregiudizi includono un filtro di tossicità, che filtra determinati linguaggi o argomenti. OpenAI sta anche lavorando su come integrare il feedback umano per poter specificare in quali aree non allontanarsi. Inoltre, il team controlla l'accesso allo strumento in modo che ad alcuni usi negativi dello strumento non venga concesso l'accesso.

"Uno dei motivi per cui forse non si sono visti troppi di questi utenti malintenzionati è perché abbiamo un intenso processo di revisione internamente", ha affermato Agarwal. "Il modo in cui lavoriamo è che ogni volta che desideri utilizzare GPT-3 in un prodotto che verrà effettivamente distribuito, devi passare attraverso un processo in cui un team, ad esempio un team di esseri umani, esamina effettivamente il modo in cui desideri utilizzare Esso. … Quindi, assicurandoti che non si tratti di qualcosa di dannoso, ti verrà concesso l’accesso.”

In parte, tuttavia, ciò è impegnativo, anche perché il pregiudizio non è sempre un caso chiaro di utilizzo di determinate parole. Jervis nota che, a volte, i suoi messaggi di affitto GPT-3 possono “tendere verso il genere stereotipato [o] la classe supposizioni." Se lasciato incustodito, potrebbe assumere l’identità di genere del soggetto su una lettera di affitto, in base alla sua famiglia ruolo o lavoro. Questo potrebbe non essere l’esempio più grave di A.I. bias, ma evidenzia cosa succede quando grandi quantità di dati vengono ingerite e poi riassemblate probabilisticamente in un modello linguistico.

"I pregiudizi e il potenziale di ritorni espliciti esistono assolutamente e richiedono uno sforzo da parte degli sviluppatori per evitarli", ha affermato Tyler Lastovich. “OpenAI segnala risultati potenzialmente tossici, ma alla fine aggiunge una responsabilità a cui i clienti devono riflettere attentamente prima di mettere in produzione il modello. Un caso limite particolarmente difficile da sviluppare è la propensione del modello a mentire, poiché non ha il concetto di informazioni vere o false”.

Modelli linguistici e futuro dell’A.I.

Nove mesi dopo il suo debutto, GPT-3 è sicuramente all'altezza della sua fama di punto di svolta. Ciò che una volta era puramente potenziale si è rivelato potenzialmente realizzato. Il numero di casi d'uso intriganti per GPT-3 evidenzia come un'I.A. che genera testo. è molto più versatile di quanto la descrizione possa suggerire.

Non che sia il nuovo arrivato in questi giorni. All’inizio di quest’anno, GPT-3 è stato superato come modello linguistico più grande. Google Brain ha debuttato con un nuovo modello linguistico con circa 1,6 trilioni di parametri, rendendolo nove volte più grande dell'offerta di OpenAI. Né è probabile che questa sia la fine della strada per i modelli linguistici. Si tratta di strumenti estremamente potenti, con il potenziale di trasformare la società, potenzialmente nel bene e nel male.

Esistono certamente delle sfide con queste tecnologie, e sono quelle che aziende come OpenAI, ricercatori indipendenti e altri devono continuare ad affrontare. Ma nel complesso, è difficile sostenere che i modelli linguistici non stiano diventando una delle frontiere più interessanti e importanti della ricerca sull’intelligenza artificiale.

Chi avrebbe mai pensato che i generatori di testo potessero essere così profondamente importanti? Benvenuti nel futuro dell'intelligenza artificiale.

Raccomandazioni degli editori

• IA analogica? Sembra pazzesco, ma potrebbe essere il futuro
• Leggi la "scrittura sintetica" stranamente bella di un A.I. che pensa che sia Dio
• Architettura algoritmica: dovremmo lasciare che l’A.I. progettare edifici per noi?
• Donne con Byte: il piano di Vivienne Ming per risolvere i “problemi umani disordinati” con l’intelligenza artificiale
• Perché insegnare ai robot a giocare a nascondino potrebbe essere la chiave per l’intelligenza artificiale di prossima generazione