GPT-3: la nuova rete neurale per la generazione di testo di OpenAI è qui

Quando nel 2019 è stato creato l’algoritmo di generazione del testo GPT-2, è stato etichettato come uno dei più “pericoloso"L'A.I. algoritmi nella storia. In effetti, alcuni sostenevano che fosse così pericoloso che non avrebbe mai dovuto essere rilasciato al pubblico (spoiler: lo era) per non inaugurare il "apocalisse robotica.” Questo, ovviamente, non è mai successo. Alla fine GPT-2 è stato rilasciato al pubblico e, dopo che non ha distrutto il mondo, i suoi creatori sono passati alla cosa successiva. Ma come si fa a seguire l'algoritmo più pericoloso mai creato?

La risposta, almeno sulla carta, è semplice: proprio come il sequel di qualsiasi film di successo, realizzi qualcosa di più grande, più cattivo e più costoso. Un solo xenomorfo nel primo Alieno? Includine un intero nido nel seguito, Alieni. Solo una singola macchina quasi indistruttibile rimandata dal futuro Terminatore? Date al pubblico due di loro con cui cimentarsi Terminator 2: Il Giorno del Giudizio.

Lo stesso vale per l’A.I. - in questo caso, GPT-3, una rete neurale per l'elaborazione del linguaggio naturale recentemente rilasciata creata da OpenAI, il laboratorio di ricerca sull'intelligenza artificiale che una volta era (ma non più) sponsorizzato da SpaceX e dal CEO di Tesla Elon Musk.

GPT-3 è l'ultima di una serie di reti neurali che generano testo. Il nome GPT sta per Generative Pretrained Transformer, con riferimento a un progetto del 2017 L'innovazione di Google chiamata Transformer che può calcolare la probabilità che una particolare parola appaia con le parole circostanti. Alimentato con poche frasi, come l'inizio di una notizia, il modello linguistico pre-addestrato GPT può generare continuazioni convincenti e accurate, inclusa anche la formulazione di fabbricati citazioni.

Questo è il motivo per cui alcuni temevano che potesse rivelarsi pericoloso, contribuendo a generare testi falsi come deepfake, Potevo contribuire a diffondere notizie false online. Ora, con GPT-3, è più grande e più intelligente che mai.

Racconto del nastro

GPT-3 è, come chiarirebbe un paragone "racconto del nastro" in stile boxe, un vero e proprio contendente dei pesi massimi. Il GPT originale del 2018 di OpenAI aveva 110 milioni di parametri, riferiti ai pesi delle connessioni che consentono a una rete neurale di apprendere. Il GPT-2 del 2019, che ha causato gran parte del precedente clamore riguardo alle sue potenziali applicazioni dannose, possedeva 1,5 miliardi di parametri. Lo scorso mese, Microsoft ha introdotto quello che allora era il più grande modello linguistico pre-addestrato simile al mondo, che vantava 17 miliardi di parametri. Il mostruoso GPT-3 del 2020, al confronto, ha un aspetto sorprendente 175 miliardi parametri. Secondo quanto riferito, la formazione è costata circa 12 milioni di dollari.

“Il potere di questi modelli è che per predire con successo la parola successiva finiscono per apprendere un mondo davvero potente modelli che possono essere utilizzati per tutti i tipi di cose interessanti", Nick Walton, chief technology officer di Latitude, lo studio dietro A.I. Dungeon, un gioco di avventure testuali generato dall'intelligenza artificiale e basato su GPT-2, ha dichiarato a Digital Trends. "Puoi anche perfezionare i modelli di base per modellare la generazione in una direzione specifica pur mantenendo la conoscenza appresa dal modello nella fase di pre-addestramento."

Gwern Branwen, un commentatore e ricercatore che scrive di psicologia, statistica e tecnologia, ha dichiarato a Digital Trends che il Il modello linguistico pre-addestrato che GPT rappresenta è diventato una “parte sempre più critica di qualsiasi attività di machine learning”. sul testo. Allo stesso modo in cui [il suggerimento standard per] molte attività legate alle immagini sono diventate “usa a”. [rete neurale convoluzionale], molti compiti legati al linguaggio sono diventati "usare un [linguaggio" perfezionato modello.'"

OpenAI, che ha rifiutato di commentare questo articolo, non è l'unica azienda che sta facendo un lavoro impressionante con l'elaborazione del linguaggio naturale. Come accennato, Microsoft si è fatta avanti con alcuni lavori straordinari. Facebook, nel frattempo, sta investendo molto nella tecnologia e ha creato innovazioni come BlenderBot, il più grande chatbot open source e a dominio aperto mai realizzato. Supera gli altri in termini di coinvolgimento e sembra anche più umano, secondo i valutatori umani. Come saprà chiunque abbia utilizzato un computer negli ultimi anni, le macchine riescono a capirci meglio che mai e l’elaborazione del linguaggio naturale è la ragione per cui.

La dimensione conta

Ma il GPT-3 di OpenAI è ancora unico nella sua scala da record. "GPT-3 sta suscitando interesse principalmente a causa delle sue dimensioni", Joe Davison, un ingegnere ricercatore presso Volto che abbraccia, una startup che lavora sul progresso dell'elaborazione del linguaggio naturale sviluppando strumenti open source e svolgendo ricerche fondamentali, ha dichiarato a Digital Trends.

La grande domanda è a cosa servirà tutto questo. GPT-2 ha trovato la sua strada in una miriade di usi, essendo impiegato per vari sistemi di generazione di testo.

Davison ha espresso qualche cautela sul fatto che GPT-3 potrebbe essere limitato dalle sue dimensioni. "Il team di OpenAI ha senza dubbio spinto oltre il limite di quanto grandi possano essere questi modelli e ha dimostrato che farli crescere riduce la nostra dipendenza dai dati specifici delle attività su tutta la linea", ha affermato. “Tuttavia, le risorse computazionali necessarie per utilizzare effettivamente GPT-3 nel mondo reale lo rendono estremamente poco pratico. Quindi, anche se il lavoro è certamente interessante e approfondito, non lo definirei un grande passo avanti per il settore”.

Altri non sono d'accordo, però. “La comunità dell’[internal-link post_id="NN"]intelligenza artificiale[/internal-link] ha osservato da tempo che la combinazione di modelli sempre più grandi con sempre più dati produce miglioramenti quasi prevedibili nella potenza di questi modelli, molto simili alla legge di Moore sulla scalabilità della potenza di calcolo," Yannic Kilcher, un A.I. ricercatore Chi gestisce un canale YouTube, ha detto a Digital Trends. “Tuttavia, come nel caso della Legge di Moore, molti hanno ipotizzato che non siamo più in grado di migliorare i modelli linguistici semplicemente ridimensionandoli e per ottenere prestazioni più elevate bisognerebbe fare invenzioni sostanziali in termini di nuove architetture o formazione metodi. GPT-3 dimostra che questo non è vero e che la capacità di spingere le prestazioni semplicemente su larga scala sembra ininterrotta – e non c’è davvero una fine in vista”.

Superare il test di Turing?

Branwen suggerisce che strumenti come GPT-3 potrebbero rappresentare una grande forza dirompente. "Un modo di pensarci è: quali lavori implicano prendere un pezzo di testo, trasformarlo ed emettere un altro pezzo di testo?" Ha detto Branwen. "Qualsiasi lavoro descritto in questo modo, ad esempio programmazione medica, fatturazione, receptionist, assistenza clienti e altro, sarebbe un buon obiettivo per mettere a punto GPT-3 e sostituire quella persona. Moltissimi lavori consistono più o meno nel “copiare campi da un foglio di calcolo o PDF a un altro foglio di calcolo o PDF” e quel tipo di automazione dell’ufficio, che è troppo caotica per essere gestita scrivere facilmente un normale programma da sostituire, sarebbe vulnerabile a GPT-3 perché può apprendere tutte le eccezioni e le diverse convenzioni e funzionare allo stesso modo dell'essere umano volevo."

In definitiva, l’elaborazione del linguaggio naturale potrebbe essere solo una parte dell’intelligenza artificiale, ma probabilmente tocca il cuore del sogno dell’intelligenza artificiale in un modo che poche altre discipline del settore fanno. IL famoso test di Turing, uno dei dibattiti fondamentali che ha dato il via al campo, è un problema di elaborazione del linguaggio naturale: puoi costruire un'A.I. che può spacciarsi in modo convincente per una persona? L’ultimo lavoro di OpenAI fa sicuramente avanzare questo obiettivo. Ora resta da vedere quali applicazioni troveranno i ricercatori.

"Penso che sia il fatto che il testo GPT-2 potrebbe così facilmente passare per umano che sta diventando difficile liquidarlo come 'solo riconoscimento di modelli' o 'solo memorizzazione'", ha detto Branwen. "Chiunque fosse sicuro che le cose che fa il deep learning non assomigliano per niente all'intelligenza deve aver scosso la sua fede per vedere fino a che punto è arrivato."

Raccomandazioni degli editori

• Gli autori più importanti richiedono un pagamento alle aziende di intelligenza artificiale per l’utilizzo del loro lavoro
• OpenAI, produttore di ChatGPT, affronta l'indagine della FTC sulle leggi sulla protezione dei consumatori
• OpenAI sta costruendo un nuovo team per impedire che l'IA superintelligente diventi un disonesto
• Creatore di ChatGPT che cerca di eliminare le "allucinazioni" dei chatbot
• La nuova app ChatGPT di OpenAI è gratuita per iPhone e iPad