GPT-3: Το νέο νευρωνικό δίκτυο του OpenAI που δημιουργεί κείμενο είναι εδώ

Όταν ο αλγόριθμος δημιουργίας κειμένου GPT-2 δημιουργήθηκε το 2019, χαρακτηρίστηκε ως ένας από τους πιο «επικίνδυνος” A.I. αλγόριθμοι στην ιστορία. Στην πραγματικότητα, κάποιοι υποστήριξαν ότι ήταν τόσο επικίνδυνο που δεν έπρεπε ποτέ να κυκλοφορήσει στο κοινό (spoiler: Ήταν) για να μην εισαγάγει το "αποκάλυψη ρομπότ.» Αυτό, φυσικά, δεν συνέβη ποτέ. Το GPT-2 κυκλοφόρησε τελικά στο κοινό και αφού δεν κατέστρεψε τον κόσμο, οι δημιουργοί του προχώρησαν στο επόμενο πράγμα. Πώς όμως παρακολουθείτε τον πιο επικίνδυνο αλγόριθμο που δημιουργήθηκε ποτέ;

Η απάντηση, τουλάχιστον στα χαρτιά, είναι απλή: Ακριβώς όπως η συνέχεια κάθε επιτυχημένης ταινίας, φτιάχνεις κάτι μεγαλύτερο, πιο κακό και πιο ακριβό. Μόνο μια ξενομόρφη στην πρώτη Εξωγήινο? Συμπεριλάβετε μια ολόκληρη φωλιά από αυτά στη συνέχεια, Εξωγήινοι. Μόνο ένα μόνο σχεδόν άφθαρτο μηχάνημα που εστάλη πίσω από το μέλλον Τελειωτής? Δώστε στο κοινό δύο από αυτά να αντιμετωπίσουν Terminator 2: Judgment Day.

Το ίδιο ισχύει και για την A.I. - σε αυτήν την περίπτωση, GPT-3, ένα νευρωνικό δίκτυο επεξεργασίας φυσικής γλώσσας που κυκλοφόρησε πρόσφατα που δημιουργήθηκε από το OpenAI, το ερευνητικό εργαστήριο τεχνητής νοημοσύνης που κάποτε (αλλά όχι πλέον) χορηγείται από τη SpaceX και τον CEO της Tesla, Elon Musk.

Το GPT-3 είναι το πιο πρόσφατο σε μια σειρά νευρωνικών δικτύων που δημιουργούν κείμενο. Το όνομα GPT σημαίνει Generative Pretrained Transformer, που αναφέρεται σε ένα 2017 Η καινοτομία της Google ονομάζεται Transformer που μπορεί να υπολογίσει την πιθανότητα να εμφανιστεί μια συγκεκριμένη λέξη με τις γύρω λέξεις. Τροφοδοτείται με λίγες προτάσεις, όπως η αρχή μιας είδησης, το προεκπαιδευμένο γλωσσικό μοντέλο GPT μπορεί να δημιουργήσει πειστικά ακριβείς συνέχειες, συμπεριλαμβανομένης της σύνθεσης των κατασκευασμένων εισαγωγικά.

Αυτός είναι ο λόγος για τον οποίο ορισμένοι ανησυχούν ότι θα μπορούσε να αποδειχθεί επικίνδυνο, βοηθώντας στη δημιουργία ψευδούς κειμένου που, όπως deepfakes, θα μπορούσε βοηθήστε στη διάδοση ψευδών ειδήσεων στο διαδίκτυο. Τώρα, με το GPT-3 είναι μεγαλύτερο και πιο έξυπνο από ποτέ.

Η ιστορία της ταινίας

Το GPT-3 είναι, όπως θα καθιστούσε σαφές μια σύγκριση τύπου πυγμαχίας «παραμύθι της ταινίας», ένα πραγματικό βαρύ μώλωπα ενός υποψήφιου. Το αρχικό GPT 2018 του OpenAI είχε 110 εκατομμύρια παραμέτρους, που αναφέρονται στα βάρη των συνδέσεων που επιτρέπουν σε ένα νευρωνικό δίκτυο να μαθαίνει. Το GPT-2 του 2019, το οποίο προκάλεσε μεγάλο μέρος της προηγούμενης αναταραχής σχετικά με τις πιθανές κακόβουλες εφαρμογές του, διέθετε 1,5 δισεκατομμύρια παραμέτρους. Τον προηγούμενο μήνα, η Microsoft παρουσίασε αυτό που ήταν τότε το μεγαλύτερο παρόμοιο προεκπαιδευμένο μοντέλο γλώσσας στον κόσμο, με 17 δισεκατομμύρια παραμέτρους. Το τερατώδες GPT-3 του 2020, συγκριτικά, έχει εκπληκτικό 175 δις Παράμετροι. Σύμφωνα με πληροφορίες, κόστισε περίπου 12 εκατομμύρια δολάρια για την εκπαίδευση.

«Η δύναμη αυτών των μοντέλων είναι ότι για να προβλέψουν επιτυχώς την επόμενη λέξη καταλήγουν να μαθαίνουν έναν πραγματικά ισχυρό κόσμο μοντέλα που μπορούν να χρησιμοποιηθούν για κάθε είδους ενδιαφέροντα πράγματα», ο Nick Walton, επικεφαλής τεχνολογίας του Latitude, του στούντιο πίσω ΟΛΑ ΣΥΜΠΕΡΙΛΑΜΒΑΝΟΝΤΑΙ. Μπουντρούμι, ένα παιχνίδι περιπέτειας κειμένου που δημιουργήθηκε από A.I. που υποστηρίζεται από το GPT-2, είπε στο Digital Trends. «Μπορείτε επίσης να ρυθμίσετε τα βασικά μοντέλα για να διαμορφώσετε τη γενιά σε μια συγκεκριμένη κατεύθυνση, διατηρώντας παράλληλα τη γνώση που έμαθε το μοντέλο κατά την προεκπαίδευση».

Γκουέρν Μπράνγουεν, σχολιαστής και ερευνητής που γράφει για την ψυχολογία, τη στατιστική και την τεχνολογία, είπε στο Digital Trends ότι το Το προεκπαιδευμένο γλωσσικό μοντέλο που αντιπροσωπεύει το GPT έχει γίνει «ολοένα και περισσότερο κρίσιμο μέρος οποιασδήποτε εργασίας μηχανικής μάθησης που αγγίζει σε κείμενο. Με τον ίδιο τρόπο που [η τυπική πρόταση για] πολλές εργασίες που σχετίζονται με την εικόνα έχουν γίνει «χρήση α [συνελικτικό νευρωνικό δίκτυο], πολλές εργασίες που σχετίζονται με τη γλώσσα έχουν γίνει «χρησιμοποιήστε μια βελτιωμένη [γλώσσα μοντέλο.'"

Η OpenAI - η οποία αρνήθηκε να σχολιάσει αυτό το άρθρο - δεν είναι η μόνη εταιρεία που κάνει κάποια εντυπωσιακή δουλειά με την επεξεργασία φυσικής γλώσσας. Όπως αναφέρθηκε, η Microsoft έχει προχωρήσει στο πιάτο με κάποια εκθαμβωτική δουλειά της. Facebook, εν τω μεταξύ, επενδύει σε μεγάλο βαθμό στην τεχνολογία και έχει δημιουργήσει καινοτομίες όπως BlenderBot, το μεγαλύτερο ανοιχτού κώδικα chatbot ανοιχτού τομέα ποτέ. Ξεπερνά τους άλλους όσον αφορά τη δέσμευση και επίσης αισθάνεται πιο ανθρώπινος, σύμφωνα με τους ανθρώπινους αξιολογητές. Όπως θα γνωρίζει όποιος έχει χρησιμοποιήσει υπολογιστή τα τελευταία χρόνια, οι μηχανές μας καταλαβαίνουν καλύτερα από ποτέ — και η επεξεργασία της φυσικής γλώσσας είναι ο λόγος.

Το μέγεθος μετράει

Αλλά το GPT-3 του OpenAI εξακολουθεί να είναι μόνο του στην τεράστια κλίμακα ρεκόρ του. «Το GPT-3 δημιουργεί buzz κυρίως λόγω του μεγέθους του», Joe Davison, ερευνητής μηχανικός στο Αγκαλιασμένο πρόσωπο, μια startup που εργάζεται για την πρόοδο της επεξεργασίας φυσικής γλώσσας αναπτύσσοντας εργαλεία ανοιχτού κώδικα και πραγματοποιώντας θεμελιώδη έρευνα, δήλωσε στο Digital Trends.

Το μεγάλο ερώτημα είναι σε τι θα χρησιμοποιηθούν όλα αυτά. Το GPT-2 βρήκε το δρόμο του σε μια μυριάδα χρήσεων, που χρησιμοποιήθηκε για διάφορα συστήματα δημιουργίας κειμένου.

Ο Davison εξέφρασε κάποια προσοχή ότι το GPT-3 θα μπορούσε να περιοριστεί λόγω του μεγέθους του. «Η ομάδα του OpenAI έχει αναμφισβήτητα ξεπεράσει τα όρια του πόσο μεγάλα μπορούν να είναι αυτά τα μοντέλα και έδειξε ότι η ανάπτυξή τους μειώνει την εξάρτησή μας από δεδομένα για συγκεκριμένες εργασίες», είπε. «Ωστόσο, οι υπολογιστικοί πόροι που απαιτούνται για την πραγματική χρήση του GPT-3 στον πραγματικό κόσμο το καθιστούν εξαιρετικά μη πρακτικό. Έτσι, ενώ το έργο είναι σίγουρα ενδιαφέρον και διορατικό, δεν θα το έλεγα σημαντικό βήμα προς τα εμπρός για τον τομέα».

Άλλοι όμως διαφωνούν. «Η κοινότητα [internal-link post_id="NN"]τεχνητής νοημοσύνης[/internal-link] έχει από καιρό παρατηρήσει ότι ο συνδυασμός ολοένα και μεγαλύτερων μοντέλων με όλο και περισσότερα δεδομένα αποφέρει σχεδόν προβλέψιμες βελτιώσεις στην ισχύ αυτών των μοντέλων, πολύ όπως ο νόμος του Moore για την κλιμάκωση της υπολογιστικής ισχύος», δήλωσε ο Yannic Kilcher, ένας A.I. ερευνητής ΠΟΥ τρέχει ένα κανάλι στο YouTube, είπε στο Digital Trends. Ωστόσο, όπως και ο νόμος του Moore, πολλοί έχουν υποθέσει ότι είμαστε στο τέλος της δυνατότητας να βελτιώσουμε τα γλωσσικά μοντέλα απλώς κλιμακώνοντάς τα και για να έχουμε υψηλότερες επιδόσεις, θα πρέπει να κάνουμε σημαντικές εφευρέσεις όσον αφορά νέες αρχιτεκτονικές ή εκπαίδευση μεθόδους. Το GPT-3 δείχνει ότι αυτό δεν είναι αλήθεια και η ικανότητα να ωθήσουμε την απόδοση απλά μέσα από την κλίμακα φαίνεται αδιάκοπη — και δεν υπάρχει πραγματικά ένα τέλος."

Περνώντας το τεστ Turing;

Ο Branwen προτείνει ότι εργαλεία όπως το GPT-3 θα μπορούσαν να είναι μια σημαντική ανασταλτική δύναμη. "Ένας τρόπος να το σκεφτείς είναι, ποιες δουλειές περιλαμβάνουν τη λήψη ενός κειμένου, τη μεταμόρφωσή του και την εκπομπή ενός άλλου κειμένου;" είπε ο Μπράνγουεν. «Οποιαδήποτε εργασία περιγράφεται με αυτό — όπως ιατρική κωδικοποίηση, τιμολόγηση, ρεσεψιονίστ, υποστήριξη πελατών, [και πολλά άλλα] θα ήταν καλός στόχος για τη ρύθμιση του GPT-3 και την αντικατάσταση αυτού του ατόμου. Πολλές εργασίες είναι λίγο-πολύ «αντιγραφή πεδίων από ένα υπολογιστικό φύλλο ή PDF σε άλλο υπολογιστικό φύλλο ή PDF», και αυτό το είδος αυτοματισμού γραφείου, που είναι πολύ χαοτικό για να γράψτε εύκολα ένα κανονικό πρόγραμμα προς αντικατάσταση, θα ήταν ευάλωτο στο GPT-3 επειδή μπορεί να μάθει όλες τις εξαιρέσεις και τις διαφορετικές συμβάσεις και να αποδώσει εξίσου καλά με τον άνθρωπο θα."

Τελικά, η επεξεργασία φυσικής γλώσσας μπορεί να είναι μόνο ένα μέρος της A.I., αλλά αναμφισβήτητα περιορίζει τον πυρήνα του ονείρου της τεχνητής νοημοσύνης με τρόπο που λίγοι άλλοι κλάδοι στον τομέα το κάνουν. ο διάσημη δοκιμή Turing, μια από τις θεμελιώδεις συζητήσεις που ξεκίνησαν το πεδίο, είναι ένα πρόβλημα επεξεργασίας φυσικής γλώσσας: Μπορείτε να δημιουργήσετε ένα A.I. που μπορεί να περάσει πειστικά ως άτομο; Η τελευταία δουλειά του OpenAI σίγουρα προωθεί αυτόν τον στόχο. Τώρα αυτό που μένει είναι να δούμε τι εφαρμογές θα βρουν οι ερευνητές για αυτό.

«Πιστεύω ότι είναι το γεγονός ότι το κείμενο GPT-2 θα μπορούσε τόσο εύκολα να περάσει από τον άνθρωπο που γίνεται δύσκολο να το απομακρυνθεί με το χέρι ως «απλώς αναγνώριση προτύπων» ή «απλώς απομνημόνευση», είπε ο Μπράνγουεν. «Όποιος ήταν σίγουρος ότι τα πράγματα που κάνει η βαθιά μάθηση δεν είναι τίποτα σαν τη νοημοσύνη, πρέπει να κλονιστεί η πίστη του για να δει πόσο μακριά έχει φτάσει».

Συστάσεις των συντακτών

• Οι κορυφαίοι συγγραφείς απαιτούν πληρωμή από εταιρείες τεχνητής νοημοσύνης για τη χρήση του έργου τους
• Ο κατασκευαστής ChatGPT OpenAI αντιμετωπίζει έρευνα της FTC σχετικά με τους νόμους περί προστασίας των καταναλωτών
• Η OpenAI χτίζει νέα ομάδα για να σταματήσει η υπερευφυής τεχνητή νοημοσύνη να γίνεται απατεώνας
• Ο δημιουργός του ChatGPT επιδιώκει να εξαλείψει τις «παραισθήσεις» του chatbot
• Η νέα εφαρμογή ChatGPT του OpenAI είναι δωρεάν για iPhone και iPad