Όχι, το ChatGPT δεν πρόκειται να προκαλέσει άλλη έλλειψη GPU

ChatGPT εκρήγνυται και η ραχοκοκαλιά του μοντέλου AI βασίζεται στις κάρτες γραφικών Nvidia. Είπε ένας αναλυτής περίπου 10.000 GPU της Nvidia χρησιμοποιήθηκαν για την εκπαίδευση του ChatGPT και καθώς η υπηρεσία συνεχίζει να επεκτείνεται, τόσο αυξάνεται η ανάγκη για GPU. Όποιος έζησε την άνοδο της κρυπτογράφησης το 2021 μπορεί να μυρίσει α Έλλειψη GPU στον ορίζοντα.

Έχω δει μερικούς ρεπόρτερ να δημιουργούν αυτή ακριβώς τη σύνδεση, αλλά είναι άστοχη. Οι μέρες των ελλείψεων GPU τύπου κρυπτογράφησης είναι πίσω μας. Αν και πιθανότατα θα δούμε αύξηση της ζήτησης για κάρτες γραφικών καθώς η τεχνητή νοημοσύνη συνεχίζει να αυξάνεται, αυτή η ζήτηση δεν κατευθύνεται προς το καλύτερες κάρτες γραφικών εγκατεστημένος σε εξέδρες παιχνιδιών.

Γιατί οι GPU της Nvidia έχουν κατασκευαστεί για τεχνητή νοημοσύνη

Πρώτα, θα εξετάσουμε γιατί η Nvidia κάρτες γραφικών

Το CUDA είναι το Application Programming Interface (API) της Nvidia που χρησιμοποιείται σε οτιδήποτε, από τις πιο ακριβές GPU του κέντρου δεδομένων μέχρι φθηνότερες GPU gaming. Η επιτάχυνση CUDA υποστηρίζεται σε βιβλιοθήκες μηχανικής μάθησης όπως το TensorFlow, η εκπαίδευση με μεγάλη ταχύτητα και συμπέρασμα. Το CUDA είναι η κινητήρια δύναμη πίσω από αυτό Η AMD είναι πολύ πίσω στην τεχνητή νοημοσύνη σε σύγκριση με την Nvidia.

Ωστόσο, μην συγχέετε το CUDA με τους πυρήνες CUDA της Nvidia. Το CUDA είναι η πλατφόρμα στην οποία εκτελούνται ένας τόνος εφαρμογών τεχνητής νοημοσύνης, ενώ οι πυρήνες CUDA είναι απλώς οι πυρήνες εντός των GPU της Nvidia. Μοιράζονται ένα όνομα και οι πυρήνες CUDA είναι καλύτερα βελτιστοποιημένοι για την εκτέλεση εφαρμογών CUDA. Οι GPU gaming της Nvidia έχουν πυρήνες CUDA και υποστηρίζουν εφαρμογές CUDA.

Οι πυρήνες tensor είναι βασικά αποκλειστικοί πυρήνες AI. Διαχειρίζονται τον πολλαπλασιασμό μήτρας, που είναι η μυστική σάλτσα που επιταχύνει την εκπαίδευση AI. Η ιδέα εδώ είναι απλή. Πολλαπλασιάστε πολλαπλά σύνολα δεδομένων ταυτόχρονα και εκπαιδεύστε μοντέλα τεχνητής νοημοσύνης εκθετικά πιο γρήγορα δημιουργώντας πιθανά αποτελέσματα. Οι περισσότεροι επεξεργαστές χειρίζονται εργασίες με γραμμικό τρόπο, ενώ οι πυρήνες Tensor μπορούν να δημιουργήσουν γρήγορα σενάρια σε έναν μόνο κύκλο ρολογιού.

Και πάλι, οι GPU gaming της Nvidia όπως το RTX 4080 έχουν πυρήνες Tensor (και μερικές φορές ακόμη και περισσότερο από δαπανηρές GPU κέντρων δεδομένων). Ωστόσο, για όλες τις προδιαγραφές που πρέπει οι κάρτες Nvidia να επιταχύνουν τα μοντέλα AI, κανένα από αυτά δεν είναι τόσο σημαντικό όσο η μνήμη. Και οι GPU gaming της Nvidia δεν έχουν πολλή μνήμη.

Όλα έρχονται στη μνήμη

«Το μέγεθος της μνήμης είναι το πιο σημαντικό», σύμφωνα με τον Jeffrey Heaton, συγγραφέα πολλών βιβλίων για την τεχνητή νοημοσύνη και καθηγητή στο Πανεπιστήμιο της Ουάσιγκτον στο Σεντ Λούις. «Εάν δεν έχετε αρκετή GPU ΕΜΒΟΛΟ, η προσαρμογή/το συμπέρασμα του μοντέλου σας απλά σταματά."

Heaton, ο οποίος έχει κανάλι στο YouTube αφιερωμένο στο πόσο καλά λειτουργούν τα μοντέλα AI σε ορισμένες GPU, σημείωσε ότι οι πυρήνες CUDA είναι επίσης σημαντικοί, αλλά η χωρητικότητα μνήμης είναι ο κυρίαρχος παράγοντας όσον αφορά τον τρόπο λειτουργίας μιας GPU για την τεχνητή νοημοσύνη. ο RTX 4090 έχει πολλή μνήμη σύμφωνα με τα πρότυπα gaming — 24 GB GDDR6X — αλλά πολύ λίγη σε σύγκριση με μια GPU κατηγορίας κέντρου δεδομένων. Για παράδειγμα, η τελευταία GPU H100 της Nvidia έχει 80 GB μνήμης HBM3, καθώς και έναν τεράστιο δίαυλο μνήμης 5.120 bit.

Μπορείτε να τα βγάλετε πέρα ​​με λιγότερα, αλλά χρειάζεστε ακόμα πολλή μνήμη. Η Heaton συνιστά στους αρχάριους να μην έχουν λιγότερα από 12 GB, ενώ ένας τυπικός μηχανικός μηχανικής εκμάθησης θα έχει ένα ή δύο επαγγελματίες 48 GB GPU της Nvidia. Σύμφωνα με τον Heaton, «οι περισσότεροι φόρτοι εργασίας θα πέφτουν περισσότερο στη σειρά A100 με οκτώ A100». Η GPU A100 της Nvidia έχει 40 GB μνήμη.

Μπορείτε επίσης να δείτε αυτήν την κλιμάκωση σε δράση. Συστήματα Puget δείχνει ένα μεμονωμένο A100 με 40 GB μνήμης που αποδίδει περίπου δύο φορές πιο γρήγορα από ένα μεμονωμένο RTX 3090 με τα 24 GB μνήμης. Και αυτό παρά το γεγονός ότι το RTX 3090 έχει σχεδόν διπλάσιο αριθμό πυρήνων CUDA και σχεδόν τόσους πυρήνες Tensor.

Η μνήμη είναι το σημείο συμφόρησης, όχι η ακατέργαστη δύναμη επεξεργασίας. Αυτό συμβαίνει επειδή η εκπαίδευση μοντέλων AI βασίζεται σε μεγάλα σύνολα δεδομένων και όσο περισσότερα από αυτά τα δεδομένα μπορείτε να αποθηκεύσετε στη μνήμη, τόσο πιο γρήγορα (και με μεγαλύτερη ακρίβεια) μπορείτε να εκπαιδεύσετε ένα μοντέλο.

Διαφορετικές ανάγκες, διαφορετικά πεθάρια

Οι GPU παιχνιδιών της Nvidia γενικά δεν είναι κατάλληλες για τεχνητή νοημοσύνη λόγω της μικρής μνήμης βίντεο που διαθέτουν σε σύγκριση με το υλικό εταιρικής ποιότητας, αλλά υπάρχει ένα ξεχωριστό ζήτημα και εδώ. Οι GPU του σταθμού εργασίας της Nvidia δεν μοιράζονται συνήθως μια μονάδα GPU με τις κάρτες παιχνιδιών της.

Για παράδειγμα, το A100 στο οποίο ανέφερε η Heaton χρησιμοποιεί την GPU GA100, η ​​οποία είναι μια μήτρα από τη σειρά Ampere της Nvidia που δεν χρησιμοποιήθηκε ποτέ σε κάρτες εστιασμένες στο gaming (συμπεριλαμβανομένων των high-end RTX 3090 Ti). Ομοίως, το τελευταίο H100 της Nvidia χρησιμοποιεί μια εντελώς διαφορετική αρχιτεκτονική από τη σειρά RTX 40, που σημαίνει ότι χρησιμοποιεί και διαφορετικό καλούπι.

Υπάρχουν εξαιρέσεις. Η GPU AD102 της Nvidia, η οποία βρίσκεται μέσα στο RTX 4090 και RTX 4080, χρησιμοποιείται επίσης σε μια μικρή γκάμα επιχειρηματικών GPU της Ada Lovelace (το L40 και το RTX 6000). Στις περισσότερες περιπτώσεις, ωστόσο, η Nvidia δεν μπορεί απλώς να επαναχρησιμοποιήσει μια κάρτα GPU gaming για μια κάρτα κέντρου δεδομένων. Είναι χωριστοί κόσμοι.

Υπάρχουν κάποιες θεμελιώδεις διαφορές μεταξύ της έλλειψης GPU που είδαμε λόγω της εξόρυξης κρυπτονομισμάτων και της αύξησης της δημοτικότητας των μοντέλων AI. Σύμφωνα με τον Heaton, το μοντέλο GPT-3 απαιτούσε πάνω από 1.000 GPU A100 Nvidia για τα τρένα και περίπου οκτώ για να λειτουργήσει. Αυτές οι GPU έχουν επίσης πρόσβαση στη διασύνδεση NVLink υψηλού εύρους ζώνης, ενώ οι GPU της σειράς RTX 40 της Nvidia δεν έχουν. Συγκρίνει το μέγιστο 24 GB μνήμης στις κάρτες παιχνιδιών της Nvidia με πολλές εκατοντάδες σε GPU όπως το A100 με NVLink.

Υπάρχουν κάποιες άλλες ανησυχίες, όπως η κατανομή μνήμης σε επαγγελματικές GPU σε σχέση με αυτές για gaming, αλλά οι μέρες που βιάζεστε στο τοπικό σας Micro Center ή στο Best Buy για την ευκαιρία να βρείτε μια GPU σε απόθεμα είναι χαμένος. Ο Heaton συνόψισε καλά αυτό το σημείο: «Τα μοντέλα μεγάλων γλωσσών, όπως το ChatGPT, εκτιμάται ότι απαιτούν τουλάχιστον οκτώ GPU για να λειτουργήσουν. Τέτοιες εκτιμήσεις προϋποθέτουν τις high-end GPU A100. Η εικασία μου είναι ότι αυτό θα μπορούσε να προκαλέσει έλλειψη των GPU υψηλότερης τεχνολογίας, αλλά μπορεί να μην επηρεάσει τις GPU της κατηγορίας gamer, με λιγότερες ΕΜΒΟΛΟ.”

Συστάσεις των συντακτών

• Οι κορυφαίοι συγγραφείς απαιτούν πληρωμή από εταιρείες τεχνητής νοημοσύνης για τη χρήση του έργου τους
• Το Google Bard μπορεί τώρα να μιλήσει, αλλά μπορεί να πνίξει το ChatGPT;
• Η επισκεψιμότητα του ιστότοπου ChatGPT μειώθηκε για πρώτη φορά
• Το 81% πιστεύει ότι το ChatGPT αποτελεί κίνδυνο για την ασφάλεια, σύμφωνα με έρευνα
• Ο αντίπαλος ChatGPT της Apple μπορεί να γράψει αυτόματα κώδικα για εσάς

Αναβαθμίστε τον τρόπο ζωής σαςΤο Digital Trends βοηθά τους αναγνώστες να παρακολουθούν τον γρήγορο κόσμο της τεχνολογίας με όλα τα τελευταία νέα, διασκεδαστικές κριτικές προϊόντων, διορατικά editorial και μοναδικές κρυφές ματιές.