Como o GPT-3 está inaugurando silenciosamente a IA Revolução

Para que serve? Absolutamente tudo

Recentemente, Francis Jervis, fundador de uma startup chamada Aumentado, usou o GPT-3 para ajudar pessoas com dificuldades com o aluguel a escrever cartas negociando descontos no aluguel. “Eu descreveria o caso de uso aqui como ‘transferência de estilo’”, disse Jervis ao Digital Trends. “[Ele contém] marcadores, que nem precisam estar em um inglês perfeito, e [produz] duas a três frases em linguagem formal.”

Alimentada por este modelo de linguagem ultrapoderoso, a ferramenta de Jervis permite que os locatários descrevam sua situação e o motivo pelo qual precisam de um acordo com desconto. “Basta digitar algumas palavras sobre por que você perdeu renda e, em alguns segundos, você receberá uma sugestão de parágrafo formal e persuasivo para adicionar à sua carta”, afirma a empresa.

Esta é apenas a ponta do iceberg. Quando Aditya Joshi, um cientista de aprendizado de máquina e ex-engenheiro da Amazon Web Services, encontrou o GPT-3 pela primeira vez, ficou tão impressionado com o que viu que criou um site, www.gpt3examples.com, para acompanhar os melhores.

“Pouco depois que a OpenAI anunciou sua API, os desenvolvedores começaram a twittar demonstrações impressionantes de aplicativos desenvolvidos usando GPT-3”, disse ele ao Digital Trends. “Eles eram surpreendentemente bons. Eu construí [meu site] para que a comunidade encontre facilmente esses exemplos e descubra maneiras criativas de usar o GPT-3 para resolver problemas em seu próprio domínio.”

Personas sintéticas totalmente interativas com GPT-3 e https://t.co/ZPdnEqR0Hn 🎇

Eles sabem quem são, onde trabalharam, quem é seu chefe e muito mais. Este não é o bot do seu pai… pic.twitter.com/kt4AtgYHZL

-Tyler Lastovich (@tylerlastovich) 18 de agosto de 2020

Joshi aponta várias demos que realmente o impactaram. Um, um gerador de layout, renderiza um layout funcional gerando código JavaScript a partir de uma descrição de texto simples. Quer um botão que diz “inscrever-se” em forma de melancia? Gostaria de um texto de banner com uma série de botões nas cores do arco-íris? Basta explicá-los em texto básico e o gerador de layout de Sharif Shameem escreverá o código para você. Outro, um Mecanismo de pesquisa baseado em GPT-3 criado por Paras Chopra, pode transformar qualquer consulta escrita em uma resposta e um link URL para fornecer mais informações. Outro, o inverso de Francis Jervis, de Michael Tefula, traduz documentos legais em inglês simples. Ainda outro, de Raphaël Millière, escreve ensaios filosóficos. E outro, de Gwern Branwen, pode gerar ficção criativa.

“Eu não esperava que um modelo de idioma único tivesse um desempenho tão bom em uma gama tão diversificada de tarefas, desde tradução e geração de idiomas até resumo de texto e extração de entidades”, disse Joshi. "Em um dos meus próprios experimentos, usei o GPT-3 para prever reações de combustão química, e funcionou surpreendentemente bem.”

Mais de onde veio isso

Os usos transformadores do GPT-3 também não param por aí. Cientista da computação Tyler Lastovich usou GPT-3 para criar pessoas falsas, incluindo história de fundo, com quem pode interagir por meio de texto. Enquanto isso, Andrew Mayne mostrou que o GPT-3 pode ser usado para transformar títulos de filmes em emojis. Nick Walton, diretor de tecnologia da Latitude, o estúdio por trás do jogo de aventura em texto gerado por GPT Masmorra de IA recentemente fiz o mesmo para ver se poderia virar sequências mais longas de descrição de texto em emoji. E a Copy.ai, uma startup que cria ferramentas de copywriting com GPT-3, está aproveitando o modelo ao máximo, com um faturamento mensal receita recorrente de US$ 67.000 em março – e uma recente rodada de financiamento de US$ 2,9 milhões.

“Definitivamente, houve surpresa e muita admiração em termos da criatividade para a qual as pessoas usaram o GPT-3,” Sandhini Agarwal, uma IA pesquisador de políticas da OpenAI disse à Digital Trends. “Tantos casos de uso são tão criativos e em domínios sobre os quais nem eu havia previsto, ele teria muito conhecimento. Isso é interessante de ver. Mas dito isso, o GPT-3 – e toda essa direção de pesquisa que a OpenAI seguiu – tinha muita esperança de que isso nos daria uma IA. modelo que era de uso mais geral. O objetivo de uma IA de uso geral. modelo é [que seria] um modelo que poderia fazer todas essas IA diferentes. tarefas."

Muitos dos projetos destacam uma das grandes mais-valias do GPT-3: a falta de formação que exige. O aprendizado de máquina foi transformador de várias maneiras nas últimas décadas. Mas o aprendizado de máquina requer um grande número de exemplos de treinamento para poder gerar respostas corretas. O GPT-3, por outro lado, possui uma “habilidade de poucos tiros” que permite que ele seja ensinado a fazer algo com apenas alguns exemplos.

Besteira plausível

GPT-3 é altamente impressionante. Mas também apresenta desafios. Algumas delas estão relacionadas ao custo: para serviços de alto volume, como chatbots, que poderiam se beneficiar da magia do GPT-3, a ferramenta pode ser muito cara para usar. (Uma única mensagem pode custar 6 centavos, o que, embora não seja exatamente uma quebra de banco, certamente faz sentido.)

Outros estão relacionados à sua ampla disponibilidade, o que significa que provavelmente será difícil construir uma startup exclusivamente, já que a concorrência acirrada provavelmente reduzirá as margens.

Outra é a falta de memória; sua janela de contexto tinha pouco menos de 2.000 palavras por vez, como o personagem de Guy Pierce no filme Lembrança, sua memória será redefinida. “Isso limita significativamente o comprimento do texto que pode gerar, aproximadamente a um parágrafo curto por solicitação”, disse Lastovich. “Na prática, isso significa que ele não consegue gerar documentos longos e ao mesmo tempo lembrar o que aconteceu no início.”

Talvez o desafio mais notável, no entanto, também esteja relacionado com a sua maior força: as suas capacidades de confabulação. Confabulação é um termo frequentemente usado por médicos para descrever a forma como algumas pessoas com problemas de memória conseguem fabricar informações que inicialmente pareçam convincentes, mas que não resistem necessariamente a um exame minucioso. inspeção. A capacidade de confabulação do GPT-3 é, dependendo do contexto, um ponto forte e um ponto fraco. Para projetos criativos, pode ser ótimo, permitindo abordar temas sem se preocupar com algo tão mundano quanto a verdade. Para outros projetos, pode ser mais complicado.

Francis Jervis, da Augrented, refere-se à capacidade do GPT-3 de “gerar besteiras plausíveis”. Nick Walton de Masmorra de IA disse: “GPT-3 é muito bom em escrever textos criativos que parecem ter sido escritos por um humano… Um de seus O ponto fraco, porém, é que muitas vezes ele pode escrever como se estivesse muito confiante - mesmo que não tenha ideia de qual é a resposta para uma pergunta. questão é."

De volta à sala chinesa

A este respeito, o GPT-3 nos leva de volta ao terreno familiar da Sala Chinesa de John Searle. Em 1980, Searle, um filósofo, publicou um dos mais conhecidos A.I. experimentos mentais, focado no tema “compreensão”. A Sala Chinesa pede-nos que imaginemos uma pessoa trancada numa sala com uma grande quantidade de escrita numa língua que não compreende. Tudo o que reconhecem são símbolos abstratos. A sala também contém um conjunto de regras que mostram como um conjunto de símbolos corresponde a outro. Dada uma série de perguntas a serem respondidas, o ocupante da sala deve combinar os símbolos das perguntas com os símbolos das respostas. Depois de repetir esta tarefa muitas vezes, eles se tornam adeptos de realizá-la – mesmo que não tenham ideia do que significa qualquer conjunto de símbolos, apenas que um corresponde ao outro.

GPT-3 está a um mundo de distância dos tipos de IA linguística. que existia na época em que Searle estava escrevendo. No entanto, a questão da compreensão é tão espinhosa como sempre.

“Este é um domínio de questionamento muito controverso, como tenho certeza que você sabe, porque há tantas diferenças opiniões sobre se, em geral, os modelos de linguagem… algum dia teriam [verdadeiro] entendimento”, disse Sandhini da OpenAI Agarwal. “Se você me perguntar sobre o GPT-3 agora, às vezes ele funciona muito bem, mas outras vezes não. Existe essa aleatoriedade em relação ao quão significativo o resultado pode parecer para você. Às vezes você pode ficar impressionado com o resultado, e às vezes o resultado será simplesmente absurdo. Dado isso, neste momento, na minha opinião… o GPT-3 não parece ter compreensão.”

Uma reviravolta adicional no experimento da Sala Chinesa hoje é que o GPT-3 não é programado a cada passo por uma pequena equipe de pesquisadores. É um modelo enorme que foi treinado em um enorme conjunto de dados que consiste, bem, na Internet. Isso significa que ele pode captar inferências e preconceitos que podem estar codificados em textos encontrados online. Você já ouviu a expressão de que você é a média das cinco pessoas com quem está cercado? Bem, o GPT-3 foi treinado em quantidades quase insondáveis ​​de dados de texto de várias fontes, incluindo livros, Wikipedia e outros artigos. A partir disso, ele aprende a prever a próxima palavra em qualquer sequência, vasculhando seus dados de treinamento para ver as combinações de palavras usadas anteriormente. Isto pode ter consequências indesejadas.

Alimentando os papagaios estocásticos

Este desafio com grandes modelos de linguagem foi destacado pela primeira vez em um artigo inovador sobre o assunto dos chamados papagaios estocásticos. Um papagaio estocástico – um termo cunhado pelos autores, que incluíram entre suas fileiras o ex-co-líder do grupo ético de IA do Google. equipe, Timnit Gebru - refere-se a um grande modelo de linguagem que “[costura] aleatoriamente sequências de formas linguísticas que observou em seus vastos dados de treinamento, de acordo com informações probabilísticas sobre como elas se combinam, mas sem qualquer referência ao significado.”

“Tendo sido treinado em grande parte da Internet, é importante reconhecer que ela carregará alguns de seus preconceitos”, Alberto Gozzi, outro usuário do GPT-3, disse ao Digital Trends. “Sei que a equipe da OpenAI está trabalhando duro para mitigar isso de algumas maneiras diferentes, mas espero que isso seja um problema por [algum] tempo.”

As contramedidas da OpenAI para se defender contra preconceitos incluem um filtro de toxicidade, que filtra determinados idiomas ou tópicos. A OpenAI também está trabalhando em maneiras de integrar o feedback humano, a fim de poder especificar em quais áreas não se deve desviar. Além disso, a equipe controla o acesso à ferramenta para que determinados usos negativos da ferramenta não tenham acesso.

“Uma das razões pelas quais talvez você não tenha visto muitos desses usuários mal-intencionados é porque temos um processo de revisão intensivo internamente”, disse Agarwal. “A forma como trabalhamos é que toda vez que você quiser usar o GPT-3 em um produto que seria realmente implantado, você tem que passar por um processo em que uma equipe - como uma equipe de humanos - realmente analisa como você deseja usar isto. … Então, certificando-se de que não é algo malicioso, você terá acesso.”

Parte disso é desafiador, no entanto – até porque o preconceito nem sempre é um caso claro de uso de certas palavras. Jervis observa que, às vezes, suas mensagens de aluguel do GPT-3 podem “tender a gênero estereotipado [ou] classe premissas." Se não for supervisionado, pode assumir a identidade de género do sujeito numa carta de aluguer, com base na sua família função ou trabalho. Este pode não ser o exemplo mais grave de IA. tendencioso, mas destaca o que acontece quando grandes quantidades de dados são ingeridas e depois remontadas probabilisticamente em um modelo de linguagem.

“O preconceito e o potencial para retornos explícitos existem absolutamente e exigem esforço dos desenvolvedores para serem evitados”, disse Tyler Lastovich. “O OpenAI sinaliza resultados potencialmente tóxicos, mas, em última análise, acrescenta uma responsabilidade sobre a qual os clientes precisam pensar muito antes de colocar o modelo em produção. Um caso extremo especificamente difícil de desenvolver é a propensão do modelo para mentir – já que não tem conceito de informação verdadeira ou falsa.”

Modelos de linguagem e o futuro da IA

Nove meses após sua estreia, o GPT-3 certamente está fazendo jus ao seu faturamento como um divisor de águas. O que antes era puramente potencial revelou-se um potencial realizado. O número de casos de uso intrigantes para GPT-3 destaca como uma IA geradora de texto pode funcionar. é muito mais versátil do que a descrição pode sugerir.

Não que seja o garoto novo no bairro hoje em dia. No início deste ano, o GPT-3 foi ultrapassado como o maior modelo de linguagem. Google Brain estreou um novo modelo de linguagem com cerca de 1,6 trilhão de parâmetros, tornando-o nove vezes maior que a oferta da OpenAI. Nem é provável que este seja o fim do caminho para os modelos de linguagem. Estas são ferramentas extremamente poderosas — com potencial para serem transformadoras para a sociedade, potencialmente para melhor e para pior.

Certamente existem desafios com essas tecnologias, e são desafios que empresas como a OpenAI, pesquisadores independentes e outros devem continuar a enfrentar. Mas, no seu conjunto, é difícil argumentar que os modelos linguísticos não se estão a tornar uma das fronteiras mais interessantes e importantes da investigação em inteligência artificial.

Quem imaginaria que geradores de texto poderiam ser tão profundamente importantes? Bem-vindo ao futuro da inteligência artificial.

Recomendações dos Editores

• IA analógica? Parece loucura, mas pode ser o futuro
• Leia a estranhamente bela “escritura sintética” de uma IA. que pensa que é Deus
• Arquitetura algorítmica: devemos deixar a I.A. projetar edifícios para nós?
• Mulheres com Byte: o plano de Vivienne Ming para resolver ‘problemas humanos complicados’ com IA
• Por que ensinar robôs a brincar de esconde-esconde pode ser a chave para a IA da próxima geração