No, ChatGPT no provocará otra escasez de GPU

ChatGPT está explotando y la columna vertebral de su modelo de IA se basa en las tarjetas gráficas Nvidia. Un analista dijo Se utilizaron alrededor de 10.000 GPU Nvidia para entrenar ChatGPT y, a medida que el servicio continúa expandiéndose, también lo hace la necesidad de GPU. Cualquiera que haya vivido el auge de las criptomonedas en 2021 puede oler un Escasez de GPU en el horizonte.

He visto a algunos periodistas establecer esa conexión exacta, pero es un error. Los días de escasez de GPU de tipo criptográfico han quedado atrás. Aunque es probable que veamos un aumento en la demanda de tarjetas graficas A medida que la IA continúa en auge, esa demanda no se dirige hacia el mejores tarjetas graficas instalado en plataformas de juego.

Por qué las GPU de Nvidia están diseñadas para la IA

Primero, abordaremos por qué Nvidia tarjetas graficas

CUDA es la interfaz de programación de aplicaciones (API) de Nvidia que se utiliza en todo, desde las GPU de centros de datos más caras hasta sus GPU para juegos más baratas. La aceleración CUDA es compatible con bibliotecas de aprendizaje automático como TensorFlow, lo que acelera enormemente la capacitación y inferencia. CUDA es la fuerza impulsora detrás AMD está muy atrasada en IA en comparación con Nvidia.

Sin embargo, no confunda CUDA con los núcleos CUDA de Nvidia. CUDA es la plataforma en la que se ejecutan un montón de aplicaciones de IA, mientras que los núcleos CUDA son solo los núcleos dentro de las GPU de Nvidia. Comparten un nombre y los núcleos CUDA están mejor optimizados para ejecutar aplicaciones CUDA. Las GPU para juegos de Nvidia tienen núcleos CUDA y admiten aplicaciones CUDA.

Los núcleos tensoriales son básicamente núcleos de IA dedicados. Se encargan de la multiplicación de matrices, que es la salsa secreta que acelera el entrenamiento de la IA. La idea aquí es simple. Multiplique varios conjuntos de datos a la vez y entrene modelos de IA exponencialmente más rápido generando posibles resultados. La mayoría de los procesadores manejan las tareas de forma lineal, mientras que los núcleos Tensor pueden generar escenarios rápidamente en un solo ciclo de reloj.

Nuevamente, las GPU para juegos de Nvidia como la RTX 4080 tienen núcleos Tensor (y a veces incluso más que las costosas GPU de centros de datos). Sin embargo, a pesar de todas las especificaciones que tienen las tarjetas Nvidia para acelerar los modelos de IA, ninguna de ellas es tan importante como la memoria. Y las GPU para juegos de Nvidia no tienen mucha memoria.

Todo se reduce a la memoria

“El tamaño de la memoria es el más importante”, según Jeffrey Heaton, autor de varios libros sobre inteligencia artificial y profesor de la Universidad de Washington en St. Louis. “Si no tienes suficiente GPU RAM, el ajuste/inferencia de su modelo simplemente se detiene”.

Heaton, quien tiene un canal de youtube dedicado a qué tan bien funcionan los modelos de IA en ciertas GPU, señaló que los núcleos CUDA también son importantes, pero la capacidad de la memoria es el factor dominante cuando se trata de cómo funciona una GPU para la IA. El RTX 4090 Tiene mucha memoria para los estándares de los juegos (24 GB de GDDR6X), pero muy poca en comparación con una GPU de clase de centro de datos. Por ejemplo, la última GPU H100 de Nvidia tiene 80 GB de memoria HBM3, así como un enorme bus de memoria de 5120 bits.

Puedes arreglártelas con menos, pero aún necesitas mucha memoria. Heaton recomienda que los principiantes tengan al menos 12 GB, mientras que un ingeniero de aprendizaje automático típico tendrá uno o dos profesionales de 48 GB. GPU Nvidia. Según Heaton, “la mayoría de las cargas de trabajo se ubicarán más en el rango de un solo A100 a ocho A100”. La GPU A100 de Nvidia tiene 40 GB de memoria.

También puedes ver esta escala en acción. Sistemas Puget muestra un solo A100 con 40 GB de memoria que funciona aproximadamente el doble de rápido que un solo RTX 3090 con sus 24 GB de memoria. Y eso a pesar de que el RTX 3090 tiene casi el doble de núcleos CUDA y casi la misma cantidad de núcleos Tensor.

La memoria es el cuello de botella, no la potencia de procesamiento bruta. Esto se debe a que el entrenamiento de modelos de IA se basa en grandes conjuntos de datos, y cuantos más datos pueda almacenar en la memoria, más rápido (y con mayor precisión) podrá entrenar un modelo.

Diferentes necesidades, diferentes troqueles

Las GPU para juegos de Nvidia generalmente no son adecuadas para la IA debido a la poca memoria de video que tienen en comparación con el hardware de nivel empresarial, pero aquí también hay un problema aparte. Las GPU para estaciones de trabajo de Nvidia no suelen compartir una GPU con sus tarjetas de juego.

Por ejemplo, la A100 a la que Heaton hizo referencia usa la GPU GA100, que es un troquel de la gama Ampere de Nvidia que nunca se usó en tarjetas centradas en juegos (incluidas las de gama alta). RTX 3090Ti). De manera similar, el último H100 de Nvidia usa una arquitectura completamente diferente a la serie RTX 40, lo que significa que también usa un troquel diferente.

Hay excepciones. La GPU AD102 de Nvidia, que se encuentra dentro del RTX 4090 y RTX 4080, también se utiliza en una pequeña gama de GPU empresariales de Ada Lovelace (L40 y RTX 6000). Sin embargo, en la mayoría de los casos, Nvidia no puede simplemente reutilizar una GPU de juegos para convertirla en una tarjeta de centro de datos. Son mundos separados.

Existen algunas diferencias fundamentales entre la escasez de GPU que vimos debido a la criptominería y el aumento de la popularidad de los modelos de IA. Según Heaton, el modelo GPT-3 requirió más de 1000 GPU Nvidia A100 para entrenar y alrededor de ocho para ejecutarse. Estas GPU también tienen acceso a la interconexión NVLink de alto ancho de banda, mientras que las GPU de la serie RTX 40 de Nvidia no. Está comparando un máximo de 24 GB de memoria en las tarjetas de juego de Nvidia con varios cientos en GPU como la A100 con NVLink.

Existen otras preocupaciones, como que las matrices de memoria se asignen a GPU profesionales en lugar de a las de juegos. pero los días en los que corría a su Micro Center local o Best Buy para tener la oportunidad de encontrar una GPU en stock son cosa del pasado. desaparecido. Heaton resumió muy bien ese punto: “Se estima que los modelos de lenguajes grandes, como ChatGPT, requieren al menos ocho GPU para ejecutarse. Estas estimaciones asumen las GPU A100 de gama alta. Mi especulación es que esto podría causar una escasez de GPU de gama alta, pero puede que no afecte a las GPU de clase gamer, con menos RAM.”

Recomendaciones de los editores

• Los principales autores exigen un pago a las empresas de inteligencia artificial por utilizar su trabajo
• Google Bard ahora puede hablar, pero ¿puede ahogar a ChatGPT?
• El tráfico del sitio web ChatGPT ha caído por primera vez
• El 81% piensa que ChatGPT es un riesgo para la seguridad, según una encuesta
• El rival ChatGPT de Apple puede escribir código automáticamente por usted

Mejora tu estilo de vidaDigital Trends ayuda a los lectores a mantenerse al tanto del vertiginoso mundo de la tecnología con las últimas noticias, reseñas divertidas de productos, editoriales interesantes y adelantos únicos.