GPT-3: la nueva red neuronal generadora de texto de OpenAI ya está aquí

Cuando se creó el algoritmo de generación de texto GPT-2 en 2019, fue etiquetado como uno de los más "peligroso”A.I. Algoritmos en la historia. De hecho, algunos argumentaron que era tan peligroso que nunca debería hacerse público (spoiler: así fue) para que no marque el comienzo del "apocalipsis robótico.” Eso, por supuesto, nunca sucedió. GPT-2 finalmente se lanzó al público y, después de que no destruyó el mundo, sus creadores pasaron a lo siguiente. Pero, ¿cómo se puede seguir el algoritmo más peligroso jamás creado?

La respuesta, al menos sobre el papel, es simple: al igual que la secuela de cualquier película exitosa, se hace algo que es más grande, peor y más caro. Sólo un xenomorfo en el primero. Extraterrestre? Incluya un nido completo de ellos en la secuela, extraterrestres. Sólo una máquina casi indestructible enviada desde el futuro en terminador? Ofrezca al público dos de ellos con los que lidiar Terminator 2: El día del juicio final.

Lo mismo ocurre con la I.A. - en este caso, GPT-3, una red neuronal de procesamiento de lenguaje natural lanzada recientemente creada por OpenAI, el laboratorio de investigación de inteligencia artificial que alguna vez fue (pero ya no) patrocinado por SpaceX y el director ejecutivo de Tesla, Elon Musk.

GPT-3 es el último de una serie de redes neuronales generadoras de texto. El nombre GPT significa Transformador preentrenado generativo, en referencia a un modelo de 2017. Innovación de Google llamada Transformer que puede calcular la probabilidad de que una palabra en particular aparezca con las palabras circundantes. Alimentado con algunas oraciones, como el comienzo de una noticia, el modelo de lenguaje pre-entrenado de GPT puede generar continuaciones convincentemente precisas, incluso incluyendo la formulación de citas.

Es por eso que a algunos les preocupaba que pudiera resultar peligroso, al ayudar a generar texto falso que, como deepfakes, podría ayudar a difundir noticias falsas en línea. Ahora, con GPT-3 es más grande y más inteligente que nunca.

cuento de la cinta

GPT-3 es, como dejaría claro una comparación de la “historia de la cinta” al estilo del boxeo, un verdadero contendiente de peso pesado. El GPT original de OpenAI de 2018 tenía 110 millones de parámetros, en referencia a los pesos de las conexiones que permiten que una red neuronal aprenda. El GPT-2 de 2019, que causó gran parte del revuelo anterior sobre sus posibles aplicaciones maliciosas, poseía 1.500 millones de parámetros. El mes pasado, Microsoft presentó lo que entonces era el modelo de lenguaje similar previamente entrenado más grande del mundo, con 17 mil millones de parámetros. El monstruoso GPT-3 de 2020, en comparación, tiene una sorprendente 175 mil millones parámetros. Según se informa, entrenarlo costó alrededor de 12 millones de dólares.

“El poder de estos modelos es que para predecir con éxito la siguiente palabra, terminan aprendiendo mundos realmente poderosos. modelos que pueden usarse para todo tipo de cosas interesantes”, Nick Walton, director de tecnología de Latitude, el estudio detrás AI. Calabozo, dijo a Digital Trends un juego de aventuras de texto generado por IA impulsado por GPT-2. "También se pueden ajustar los modelos base para dar forma a la generación en una dirección específica y al mismo tiempo mantener el conocimiento que el modelo aprendió en el entrenamiento previo".

Gwen Branwen, comentarista e investigador que escribe sobre psicología, estadística y tecnología, dijo a Digital Trends que el El modelo de lenguaje previamente entrenado que representa GPT se ha convertido en “una parte cada vez más crítica de cualquier tarea de aprendizaje automático que afecte en el texto. De la misma manera que [la sugerencia estándar para] muchas tareas relacionadas con imágenes se ha convertido en 'usar un [red neuronal convolucional], muchas tareas relacionadas con el lenguaje se han convertido en "usar un [lenguaje] afinado modelo.'"

OpenAI, que no quiso hacer comentarios para este artículo, no es la única empresa que realiza un trabajo impresionante con el procesamiento del lenguaje natural. Como se mencionó, Microsoft ha dado un paso al frente con un trabajo propio deslumbrante. FacebookMientras tanto, está invirtiendo mucho en tecnología y ha creado avances como licuadorabot, el chatbot de dominio abierto y código abierto más grande jamás creado. Supera a otros en términos de compromiso y también se siente más humano, según los evaluadores humanos. Como sabrá cualquiera que haya usado una computadora en los últimos años, las máquinas son cada vez mejor que nunca para entendernos, y el procesamiento del lenguaje natural es la razón.

El tamaño importa

Pero el GPT-3 de OpenAI sigue estando solo en su escala sin precedentes. “GPT-3 está generando expectación principalmente debido a su tamaño”, dijo Joe Davison, ingeniero de investigación de abrazando la cara, dijo a Digital Trends una startup que trabaja en el avance del procesamiento del lenguaje natural mediante el desarrollo de herramientas de código abierto y la realización de investigaciones fundamentales.

La gran pregunta es para qué se utilizará todo esto. GPT-2 encontró su camino hacia una infinidad de usos y se empleó para varios sistemas de generación de texto.

Davison expresó cierta cautela en el sentido de que GPT-3 podría verse limitado por su tamaño. "Sin duda, el equipo de OpenAI ha superado la frontera de cuán grandes pueden ser estos modelos y ha demostrado que su crecimiento reduce nuestra dependencia de datos específicos de tareas en el futuro", dijo. “Sin embargo, los recursos computacionales necesarios para utilizar GPT-3 en el mundo real lo hacen extremadamente impráctico. Entonces, si bien el trabajo es ciertamente interesante y esclarecedor, no lo llamaría un gran paso adelante para el campo”.

Otros, sin embargo, no están de acuerdo. “La comunidad de [internal-link post_id="NN"]inteligencia artificial[/internal-link] ha observado durante mucho tiempo que combinar modelos cada vez más grandes con más y más datos produce mejoras casi predecibles en el poder de estos modelos, muy parecidas a la Ley de Moore de escalamiento del poder de cómputo”, dijo Yannic Kilcher, un experto en inteligencia artificial. investigador OMS dirige un canal de YouTube, dijo a Digital Trends. “Sin embargo, al igual que con la Ley de Moore, muchos han especulado que estamos al final de poder mejorar los modelos de lenguaje simplemente ampliándolos. y para obtener un mayor rendimiento, necesitaríamos hacer inventos sustanciales en términos de nuevas arquitecturas o capacitación. métodos. GPT-3 muestra que esto no es cierto y que la capacidad de impulsar el rendimiento simplemente a través de la escala parece intacta, y en realidad no hay un final a la vista".

¿Pasando la prueba de Turing?

Branwen sugiere que herramientas como GPT-3 podrían ser una fuerza disruptiva importante. "Una forma de pensarlo es: ¿qué trabajos implican tomar un fragmento de texto, transformarlo y emitir otro fragmento de texto?" Dijo Branwen. “Cualquier trabajo que se describa así, como codificación médica, facturación, recepcionistas, atención al cliente, [y más] sería un buen objetivo para ajustar GPT-3 y reemplazar a esa persona. Muchos trabajos consisten más o menos en “copiar campos de una hoja de cálculo o PDF a otra hoja de cálculo o PDF”, y ese tipo de automatización de oficina, que es demasiado caótica para escribir fácilmente un programa normal para reemplazar, sería vulnerable a GPT-3 porque puede aprender todas las excepciones y diferentes convenciones y funcionar tan bien como el humano haría."

En última instancia, el procesamiento del lenguaje natural puede ser sólo una parte de la IA, pero podría decirse que llega al núcleo del sueño de la inteligencia artificial de una manera que pocas otras disciplinas en este campo lo hacen. El famoso test de turing, uno de los debates fundamentales que impulsó este campo, es un problema de procesamiento del lenguaje natural: ¿se puede construir una IA? que pueda hacerse pasar por una persona de manera convincente? El último trabajo de OpenAI ciertamente promueve este objetivo. Ahora queda por ver qué aplicaciones le encontrarán los investigadores.

"Creo que es el hecho de que el texto GPT-2 podría pasar tan fácilmente por humano que se está volviendo difícil descartarlo como 'solo reconocimiento de patrones' o 'solo memorización'", dijo Branwen. "Cualquiera que estuviera seguro de que las cosas que hace el aprendizaje profundo no se parecen en nada a la inteligencia tiene que haber visto sacudida su fe para ver hasta dónde ha llegado".

Recomendaciones de los editores

• Los principales autores exigen un pago a las empresas de inteligencia artificial por utilizar su trabajo
• OpenAI, fabricante de ChatGPT, se enfrenta a una investigación de la FTC sobre las leyes de protección al consumidor
• OpenAI crea un nuevo equipo para evitar que la IA superinteligente se vuelva deshonesta
• Creador de ChatGPT busca eliminar las 'alucinaciones' de los chatbots
• La nueva aplicación ChatGPT de OpenAI es gratuita para iPhone y iPad