Cómo GPT-3 está marcando silenciosamente el comienzo de la IA Revolución

¿Para que sirve? Absolutamente todo

Recientemente, Francis Jervis, el fundador de una startup llamada aumentado, utilizó GPT-3 para ayudar a las personas que luchaban con el alquiler a escribir cartas negociando descuentos en el alquiler. "Yo describiría el caso de uso aquí como 'transferencia de estilo'", dijo Jervis a Digital Trends. "[Toma] viñetas, que ni siquiera tienen que estar en perfecto inglés, y [produce] dos o tres oraciones en lenguaje formal".

Impulsada por este modelo de lenguaje ultrapoderoso, la herramienta de Jervis permite a los inquilinos describir su situación y la razón por la que necesitan un acuerdo con descuento. "Simplemente ingrese un par de palabras sobre por qué perdió ingresos y en unos segundos recibirá una sugerencia de párrafo formal y persuasivo para agregar a su carta", afirma la compañía.

Esto es sólo la punta del iceberg. Cuando Aditya Joshi, un científico de aprendizaje automático y ex ingeniero de servicios web de Amazon, se encontró por primera vez con GPT-3 y quedó tan impresionado con lo que vio que creó un sitio web. www.gpt3examples.com, para realizar un seguimiento de los mejores.

"Poco después de que OpenAI anunciara su API, los desarrolladores comenzaron a tuitear demostraciones impresionantes de aplicaciones creadas con GPT-3", dijo a Digital Trends. “Fueron sorprendentemente buenos. Creé [mi sitio web] para que a la comunidad le resultara más fácil encontrar estos ejemplos y descubrir formas creativas de usar GPT-3 para resolver problemas en su propio dominio”.

Personas sintéticas totalmente interactivas con GPT-3 y https://t.co/ZPdnEqR0Hn 🎇

Saben quiénes son, dónde trabajaron, quién es su jefe y mucho más. Este no es el robot de tu padre... pic.twitter.com/kt4AtgYHZL

—Tyler Lastovich (@tylerlastovich) 18 de agosto de 2020

Joshi señala varias demostraciones que realmente lo impactaron. uno, un generador de diseño, presenta un diseño funcional generando código JavaScript a partir de una descripción de texto simple. ¿Quieres un botón que diga "suscribir" en forma de sandía? ¿Te apetece un texto de banner con una serie de botones de los colores del arcoíris? Simplemente explíquelos en texto básico y el generador de diseño de Sharif Shameem escribirá el código por usted. Otro, un Motor de búsqueda basado en GPT-3 creado por Paras Chopra, puede convertir cualquier consulta escrita en una respuesta y un enlace URL para proporcionar más información. Otro, el inverso del de Francis Jervis de Michael Tefula, traduce documentos legales al inglés simple. Otro más, de Raphaël Millière, escribe ensayos filosóficos. Y otro, de Gwern Branwen, puede generar ficción creativa.

"No esperaba que un modelo de lenguaje único funcionara tan bien en una gama tan diversa de tareas, desde la traducción y generación de idiomas hasta el resumen de texto y la extracción de entidades", dijo Joshi. "En uno de mis propios experimentos, Usé GPT-3 para predecir reacciones de combustión química y lo hizo sorprendentemente bien”.

Más de dónde vino eso

Los usos transformadores de GPT-3 tampoco terminan ahí. Científico de la computación Tyler Lastovich ha utilizado GPT-3 para crear gente falsa, incluida la historia de fondo, con quien luego se puede interactuar a través de texto. Mientras tanto, Andrew Mayne ha demostrado que GPT-3 puede ser utilizado para convertir títulos de películas en emojis. Nick Walton, director de tecnología de Latitude, el estudio detrás del juego de aventuras de texto generado por GPT Mazmorra de IA Recientemente hice lo mismo para ver si podía girar. cadenas más largas de descripción de texto en emoji. Y Copy.ai, una startup que crea herramientas de redacción publicitaria con GPT-3, está aprovechando el modelo al máximo, con una publicación mensual. ingresos recurrentes de $67,000 a partir de marzo, y una reciente ronda de financiación de 2,9 millones de dólares.

"Definitivamente, hubo sorpresa y mucho asombro en términos de la creatividad para la que la gente ha usado GPT-3". Sandhini Agarwal, una IA. dijo el investigador de políticas de OpenAI a Digital Trends. “Muchos casos de uso son muy creativos y, en dominios que ni siquiera yo había previsto, tendría mucho conocimiento. Es interesante verlo. Pero dicho esto, GPT-3, y toda esta dirección de investigación que siguió OpenAI, tenía la gran esperanza de que esto nos diera una IA. modelo que era más de propósito general. El objetivo de una IA de propósito general El modelo es [que sería] un modelo al que le gustaría hacer todos estos diferentes A.I. tareas."

Muchos de los proyectos destacan uno de los grandes valores añadidos de GPT-3: la falta de formación que requiere. El aprendizaje automático ha sido transformador en muchos sentidos durante las últimas dos décadas. Pero el aprendizaje automático requiere una gran cantidad de ejemplos de entrenamiento para poder generar respuestas correctas. GPT-3, por otro lado, tiene una “capacidad de pocos disparos” que le permite enseñarle a hacer algo con sólo un pequeño puñado de ejemplos.

Tonterías plausibles

GPT-3 es muy impresionante. Pero también plantea desafíos. Algunos de ellos se relacionan con el costo: para servicios de gran volumen como los chatbots, que podrían beneficiarse de la magia de GPT-3, la herramienta podría ser demasiado costosa para usar. (Un solo mensaje podría costar 6 centavos, lo cual, si bien no es exactamente una quiebra bancaria, ciertamente suma).

Otros se relacionan con su disponibilidad generalizada, lo que significa que probablemente será difícil construir una startup exclusivamente, ya que la competencia feroz probablemente reducirá los márgenes.

Otra es la falta de memoria; su ventana de contexto muestra un poco menos de 2000 palabras a la vez, como el personaje de Guy Pierce en la película. Recuerdo, su memoria se restablece. "Esto limita significativamente la longitud del texto que puede generar, aproximadamente a un párrafo corto por solicitud", dijo Lastovich. "En la práctica, esto significa que no puede generar documentos largos sin dejar de recordar lo que sucedió al principio".

Quizás el desafío más notable, sin embargo, también se relaciona con su mayor fortaleza: sus habilidades de confabulación. Confabulación es un término utilizado frecuentemente por los médicos para describir la forma en que algunas personas con problemas de memoria son capaces de fabricar información que parezca inicialmente convincente, pero que no necesariamente resista un escrutinio más detallado. inspección. La capacidad de GPT-3 para confabular es, según el contexto, una fortaleza y una debilidad. Para proyectos creativos, puede ser fantástico, ya que le permite abordar temas sin preocuparse por nada tan mundano como la verdad. Para otros proyectos, puede resultar más complicado.

Francis Jervis de Augrented se refiere a la capacidad de GPT-3 para "generar tonterías plausibles". Nick Walton de Mazmorra de IA dijo: “GPT-3 es muy bueno escribiendo texto creativo que parece haber sido escrito por un humano… Uno de sus Su debilidad, sin embargo, es que a menudo puede escribir como si tuviera mucha confianza, incluso si no tiene idea de cuál es la respuesta a una pregunta. La pregunta es."

De vuelta en la sala china

En este sentido, GPT-3 nos devuelve al terreno familiar de la Sala China de John Searle. En 1980, Searle, un filósofo, publicó uno de los más conocidos A.I. experimentos mentales, centrado en el tema de la “comprensión”. La Habitación China nos pide que imaginemos a una persona encerrada en una habitación con una gran cantidad de escritos en un idioma que no comprende. Lo único que reconocen son símbolos abstractos. La sala también contiene un conjunto de reglas que muestran cómo un conjunto de símbolos se corresponde con otro. Dada una serie de preguntas para responder, el ocupante de la habitación debe hacer coincidir los símbolos de pregunta con los símbolos de respuesta. Después de repetir esta tarea muchas veces, se vuelven expertos en realizarla, aunque no tienen idea de lo que significa cada conjunto de símbolos, simplemente que uno corresponde al otro.

GPT-3 está a un mundo de distancia de los tipos de IA lingüística que existen. que existía en el momento en que Searle estaba escribiendo. Sin embargo, la cuestión de la comprensión sigue siendo más espinosa que nunca.

"Este es un ámbito de cuestionamiento muy controvertido, como estoy seguro de que usted sabe, porque hay muchas diferencias opiniones sobre si, en general, los modelos de lenguaje... alguna vez tendrían una comprensión [verdadera]”, dijo Sandhini de OpenAI. Agarwal. “Si me preguntas sobre GPT-3 en este momento, a veces funciona muy bien, pero no muy bien en otras. Existe esta aleatoriedad en cierto modo sobre qué tan significativo puede parecerle el resultado. A veces, el resultado puede sorprenderte y, a veces, el resultado simplemente no tendrá sentido. Teniendo en cuenta eso, en este momento en mi opinión... GPT-3 no parece entenderlo”.

Un giro adicional al experimento de la Sala China actual es que GPT-3 no está programado en cada paso por un pequeño equipo de investigadores. Es un modelo masivo que ha sido entrenado en un enorme conjunto de datos que consiste, bueno, en Internet. Esto significa que puede captar inferencias y sesgos que podrían estar codificados en texto encontrado en línea. ¿Has escuchado la expresión de que eres el promedio de las cinco personas que te rodean? Bueno, GPT-3 fue entrenado con cantidades casi insondables de datos de texto de múltiples fuentes, incluidos libros, Wikipedia y otros artículos. A partir de esto, aprende a predecir la siguiente palabra en cualquier secuencia examinando sus datos de entrenamiento para ver las combinaciones de palabras utilizadas anteriormente. Esto puede tener consecuencias no deseadas.

Alimentando a los loros estocásticos

Este desafío con los modelos de lenguaje grandes se destacó por primera vez en un papel innovador sobre el tema de los llamados loros estocásticos. Un loro estocástico, término acuñado por los autores, que incluían entre sus filas al ex codirector del programa ético de inteligencia artificial de Google. equipo, Timnit Gebru - se refiere a un modelo de lenguaje grande que “une al azar secuencias de formas lingüísticas que ha observado en sus vastos datos de entrenamiento, de acuerdo con información probabilística sobre cómo se combinan, pero sin ninguna referencia al significado”.

"Habiendo sido entrenado en una gran parte de Internet, es importante reconocer que este tendrá algunos de sus prejuicios". Alberto Gozzi, dijo otro usuario de GPT-3 a Digital Trends. "Sé que el equipo de OpenAI está trabajando arduamente para mitigar esto de diferentes maneras, pero espero que esto sea un problema durante algún tiempo".

Las contramedidas de OpenAI para defenderse contra los prejuicios incluyen un filtro de toxicidad, que filtra ciertos lenguajes o temas. OpenAI también está trabajando en formas de integrar la retroalimentación humana para poder especificar en qué áreas no desviarse. Además, el equipo controla el acceso a la herramienta para que no se conceda acceso a ciertos usos negativos de la herramienta.

"Una de las razones por las que quizás no haya visto muchos de estos usuarios maliciosos es porque tenemos un proceso de revisión intensivo internamente", dijo Agarwal. "La forma en que trabajamos es que cada vez que desee utilizar GPT-3 en un producto que realmente se implementará, Tienes que pasar por un proceso en el que un equipo, como un equipo de humanos, revisa cómo quieres utilizarlo. él. … Luego, basándose en asegurarse de que no se trata de algo malicioso, se le concederá el acceso”.

Sin embargo, algo de esto es un desafío, sobre todo porque el sesgo no siempre es un caso claro de uso de ciertas palabras. Jervis señala que, a veces, sus mensajes de alquiler de GPT-3 pueden "tender a estereotipos de género [o] clase". suposiciones”. Si se deja desatendido, podría asumir la identidad de género del sujeto en una carta de alquiler, según su familia. rol o trabajo. Puede que este no sea el ejemplo más grave de la IA. sesgo, pero resalta lo que sucede cuando se ingieren grandes cantidades de datos y luego se reensamblan probabilísticamente en un modelo de lenguaje.

"El sesgo y el potencial de retornos explícitos existen absolutamente y requieren un esfuerzo por parte de los desarrolladores para evitarlos", dijo Tyler Lastovich. “OpenAI señala resultados potencialmente tóxicos, pero en última instancia agrega una responsabilidad que los clientes deben considerar detenidamente antes de poner el modelo en producción. Un caso límite específicamente difícil de desarrollar es la propensión del modelo a mentir, ya que no tiene ningún concepto de información verdadera o falsa”.

Modelos de lenguaje y el futuro de la A.I.

Nueve meses después de su debut, GPT-3 ciertamente está a la altura de su fama de revolucionario. Lo que antes era puramente potencial se ha mostrado como un potencial realizado. La cantidad de casos de uso intrigantes para GPT-3 resalta cómo una IA generadora de texto. es mucho más versátil de lo que esa descripción podría sugerir.

No es que sea el chico nuevo de la cuadra estos días. A principios de este año, GPT-3 fue superado como el modelo de lenguaje más grande. Google Brain estrenó un nuevo modelo de lenguaje con unos 1,6 billones de parámetros, lo que lo hace nueve veces el tamaño de la oferta de OpenAI. Tampoco es probable que esto sea el final del camino para los modelos lingüísticos. Estas son herramientas extremadamente poderosas, con el potencial de ser transformadoras para la sociedad, potencialmente para bien o para mal.

Ciertamente existen desafíos con estas tecnologías, y son aquellos que empresas como OpenAI, investigadores independientes y otros deben seguir abordando. Pero en su conjunto, es difícil argumentar que los modelos de lenguaje no se están convirtiendo en una de las fronteras más interesantes e importantes de la investigación en inteligencia artificial.

¿Quién hubiera pensado que los generadores de texto podrían ser tan importantes? Bienvenidos al futuro de la inteligencia artificial.

Recomendaciones de los editores

• ¿IA analógica? Parece una locura, pero podría ser el futuro.
• Lea la inquietantemente hermosa "escritura sintética" de una IA. que piensa que es dios
• Arquitectura algorítmica: ¿Deberíamos dejar que la A.I. ¿Diseñar edificios para nosotros?
• Mujeres con Byte: el plan de Vivienne Ming para resolver “problemas humanos complicados” con A.I.
• Por qué enseñar a los robots a jugar al escondite podría ser la clave para la IA de próxima generación