GPT-3: Chegou a nova rede neural de geração de texto da OpenAI

Quando o algoritmo de geração de texto GPT-2 foi criado em 2019, foi rotulado como um dos mais “perigoso”A.I. algoritmos na história. Na verdade, alguns argumentaram que era tão perigoso que nunca deveria ser divulgado ao público (spoiler: era), para não inaugurar o “apocalipse robô.” Isso, é claro, nunca aconteceu. O GPT-2 acabou sendo lançado ao público e, depois de não ter destruído o mundo, seus criadores passaram para o próximo passo. Mas como você acompanha o algoritmo mais perigoso já criado?

A resposta, pelo menos no papel, é simples: assim como a sequência de qualquer filme de sucesso, você faz algo maior, mais malvado e mais caro. Apenas um xenomorfo no primeiro Estrangeiro? Inclua um ninho inteiro deles na sequência, Alienígenas. Apenas uma única máquina quase indestrutível enviada de volta do futuro em Exterminador do Futuro? Dê ao público dois deles para lidar Terminator 2: Dia do Julgamento.

O mesmo se aplica à IA. - nesse caso,

GPT-3, uma rede neural de processamento de linguagem natural lançada recentemente e criada pela OpenAI, o laboratório de pesquisa de inteligência artificial que já foi (mas não mais) patrocinado pela SpaceX e pelo CEO da Tesla, Elon Musk.

GPT-3 é a mais recente de uma série de redes neurais geradoras de texto. O nome GPT significa Generative Pretrained Transformer, referenciando um 2017 Inovação do Google chamada Transformer que pode descobrir a probabilidade de uma palavra específica aparecer com palavras vizinhas. Alimentado com algumas frases, como o início de uma notícia, o modelo de linguagem pré-treinado do GPT pode gerar continuações convincentemente precisas, incluindo até mesmo a formulação de citações.

É por isso que alguns temiam que isso pudesse revelar-se perigoso, ajudando a gerar textos falsos que, como deepfakes, poderia ajude a espalhar notícias falsas online. Agora, com o GPT-3, ele está maior e mais inteligente do que nunca.

Conto da fita

GPT-3 é, como uma comparação de “conto da fita” no estilo boxe deixaria claro, um verdadeiro lutador de peso pesado. O GPT 2018 original da OpenAI tinha 110 milhões de parâmetros, referindo-se aos pesos das conexões que permitem o aprendizado de uma rede neural. O GPT-2 de 2019, que causou grande parte do alvoroço anterior sobre as suas potenciais aplicações maliciosas, possuía 1,5 mil milhões de parâmetros. Mês passado, a Microsoft introduziu o que era então o maior modelo de linguagem pré-treinada semelhante do mundo, ostentando 17 bilhões de parâmetros. O monstruoso GPT-3 de 2020, em comparação, tem um desempenho surpreendente 175 bilhões parâmetros. O treinamento custou cerca de US $ 12 milhões.

“O poder desses modelos é que, para prever com sucesso a próxima palavra, eles acabam aprendendo mundos realmente poderosos modelos que podem ser usados ​​para todos os tipos de coisas interessantes”, Nick Walton, diretor de tecnologia do Latitude, o estúdio atrás IA Masmorra, um jogo de aventura de texto gerado por IA e desenvolvido com GPT-2, disse à Digital Trends. “Você também pode ajustar os modelos básicos para moldar a geração em uma direção específica, mantendo o conhecimento que o modelo aprendeu no pré-treinamento.”

Gwern Branwen, comentarista e pesquisador que escreve sobre psicologia, estatística e tecnologia, disse ao Digital Trends que o O modelo de linguagem pré-treinado que o GPT representa tornou-se uma “parte cada vez mais crítica de qualquer tarefa de aprendizado de máquina que envolva no texto. Da mesma forma que [a sugestão padrão para] muitas tarefas relacionadas a imagens passou a ser ‘usar um [rede neural convolucional], muitas tarefas relacionadas à linguagem tornaram-se 'usar uma [linguagem modelo.'"

A OpenAI – que se recusou a comentar este artigo – não é a única empresa que faz um trabalho impressionante com processamento de linguagem natural. Como mencionado, a Microsoft avançou com seu próprio trabalho deslumbrante. FacebookEnquanto isso, está investindo pesadamente em tecnologia e criou inovações como BlenderBot, o maior chatbot de código aberto e domínio aberto já criado. Supera os outros em termos de envolvimento e também parece mais humano, de acordo com avaliadores humanos. Como qualquer pessoa que tenha usado um computador nos últimos anos saberá, as máquinas estão cada vez melhores em nos compreender – e o processamento de linguagem natural é a razão disso.

Tamanho importa

Mas o GPT-3 da OpenAI ainda é o único em sua escala recorde. “O GPT-3 está gerando buzz principalmente por causa de seu tamanho”, Joe Davison, engenheiro de pesquisa da Abraçando o rosto, uma startup que trabalha no avanço do processamento de linguagem natural, desenvolvendo ferramentas de código aberto e realizando pesquisas fundamentais, disse à Digital Trends.

A grande questão é para que servirá tudo isso. O GPT-2 encontrou uma infinidade de usos, sendo empregado em vários sistemas de geração de texto.

Davison expressou alguma cautela de que o GPT-3 poderia ser limitado pelo seu tamanho. “A equipe da OpenAI inquestionavelmente ultrapassou os limites do tamanho desses modelos e mostrou que seu crescimento reduz nossa dependência de dados específicos de tarefas no futuro”, disse ele. “No entanto, os recursos computacionais necessários para realmente usar o GPT-3 no mundo real tornam-no extremamente impraticável. Portanto, embora o trabalho seja certamente interessante e esclarecedor, eu não o consideraria um grande avanço para a área.”

Outros discordam, no entanto. “A comunidade de [internal-link post_id="NN"]inteligência artificial[/internal-link] há muito observa que combinar modelos cada vez maiores com mais e mais dados produz melhorias quase previsíveis no poder desses modelos, muito parecido com a Lei de Moore de dimensionamento do poder computacional”, Yannic Kilcher, um pesquisador de IA. investigador Quem dirige um canal no YouTube, disse Tendências Digitais. “No entanto, também como a Lei de Moore, muitos especularam que estamos no fim da capacidade de melhorar os modelos de linguagem simplesmente ampliando-os e, para obter um desempenho superior, precisaríamos fazer invenções substanciais em termos de novas arquiteturas ou treinamento métodos. O GPT-3 mostra que isso não é verdade e que a capacidade de aumentar o desempenho simplesmente através da escala parece ininterrupta – e não há realmente um fim à vista.”

Passando no teste de Turing?

Branwen sugere que ferramentas como o GPT-3 podem ser uma grande força disruptiva. “Uma maneira de pensar nisso é: que tarefas envolvem pegar um trecho de texto, transformá-lo e emitir outro trecho de texto?” Branwen disse. “Qualquer trabalho descrito por isso - como codificação médica, faturamento, recepcionistas, suporte ao cliente, [e mais] seria um bom alvo para ajustar o GPT-3 e substituir essa pessoa. Muitos trabalhos consistem mais ou menos em “copiar campos de uma planilha ou PDF para outra planilha ou PDF”, e esse tipo de automação de escritório, que é caótica demais para ser escrever facilmente um programa normal para substituir, seria vulnerável ao GPT-3 porque pode aprender todas as exceções e convenções diferentes e funcionar tão bem quanto o humano seria."

Em última análise, o processamento de linguagem natural pode ser apenas uma parte da IA, mas sem dúvida vai ao âmago do sonho da inteligência artificial de uma forma que poucas outras disciplinas na área o fazem. O famoso teste de Turing, um dos debates seminais que deram início ao campo, é um problema de processamento de linguagem natural: você pode construir uma IA? que pode se passar de forma convincente por uma pessoa? O trabalho mais recente da OpenAI certamente avança nesse objetivo. Agora resta saber quais aplicações os pesquisadores encontrarão para ele.

“Acho que é o fato de o texto GPT-2 poder passar tão facilmente por humano que está ficando difícil descartá-lo como ‘apenas reconhecimento de padrões’ ou ‘apenas memorização’”, disse Branwen. “Qualquer pessoa que tivesse certeza de que as coisas que o aprendizado profundo faz não se parecem em nada com a inteligência deve ter tido sua fé abalada para ver até onde ela chegou.”

Recomendações dos Editores

• Os principais autores exigem pagamento de empresas de IA pelo uso de seu trabalho
• OpenAI, fabricante do ChatGPT, enfrenta investigação da FTC sobre leis de proteção ao consumidor
• OpenAI construindo nova equipe para impedir que a IA superinteligente se torne desonesta
• Criador do ChatGPT buscando eliminar ‘alucinações’ do chatbot
• O novo aplicativo ChatGPT da OpenAI é gratuito para iPhone e iPad