Πώς το GPT-3 εισάγει αθόρυβα το A.I. Επανάσταση

Για τι είναι καλό? Απολύτως τα πάντα

Πρόσφατα, τηλεφώνησε ο Francis Jervis, ο ιδρυτής μιας startup Augrented, χρησιμοποίησε το GPT-3 για να βοηθήσει άτομα που δυσκολεύονται με το ενοίκιό τους να γράφουν επιστολές διαπραγματεύοντας τις εκπτώσεις ενοικίων. «Θα περιέγραφα την περίπτωση χρήσης εδώ ως «μεταφορά στυλ», είπε ο Jervis στο Digital Trends. «[Παίρνει] κουκκίδες, που δεν χρειάζεται καν να είναι σε τέλεια αγγλικά, και [βγάζει] δύο έως τρεις προτάσεις στην επίσημη γλώσσα».

Με την υποστήριξη αυτού του εξαιρετικά ισχυρού γλωσσικού μοντέλου, το εργαλείο του Jervis επιτρέπει στους ενοικιαστές να περιγράψουν την κατάστασή τους και τον λόγο που χρειάζονται έναν διακανονισμό με έκπτωση. «Απλώς πληκτρολογήστε μερικές λέξεις για το γιατί χάσατε εισόδημα και σε λίγα δευτερόλεπτα θα λάβετε μια προτεινόμενη πειστική, επίσημη παράγραφο για να προσθέσετε στην επιστολή σας», ισχυρίζεται η εταιρεία.

Αυτή είναι μόνο η κορυφή του παγόβουνου. Οταν Aditya Joshi, ένας επιστήμονας μηχανικής μάθησης και πρώην μηχανικός των Υπηρεσιών Ιστού της Amazon, συνάντησε για πρώτη φορά το GPT-3, που ενθουσιάστηκε τόσο πολύ από αυτό που είδε που δημιούργησε έναν ιστότοπο, www.gpt3examples.com, για να παρακολουθείτε τα καλύτερα.

«Λίγο αφότου το OpenAI ανακοίνωσε το API τους, οι προγραμματιστές άρχισαν να στέλνουν στο Twitter εντυπωσιακά demo εφαρμογών που δημιουργήθηκαν με χρήση GPT-3», είπε στο Digital Trends. «Ήταν εκπληκτικά καλοί. Δημιούργησα [τον ιστότοπό μου] για να διευκολύνω την κοινότητα να βρει αυτά τα παραδείγματα και να ανακαλύψει δημιουργικούς τρόπους χρήσης του GPT-3 για την επίλυση προβλημάτων στον δικό της τομέα."

Πλήρως διαδραστικές συνθετικές περσόνες με GPT-3 και https://t.co/ZPdnEqR0Hn 🎇

Ξέρουν ποιοι είναι, πού δούλεψαν, ποιος είναι το αφεντικό τους και τόσα άλλα. Αυτό δεν είναι το bot του πατέρα σου… pic.twitter.com/kt4AtgYHZL

— Τάιλερ Λάστοβιτς (@tylerlastovich) 18 Αυγούστου 2020

Ο Joshi επισημαίνει πολλά demo που πραγματικά τον επηρέασαν. Ένα, α γεννήτρια διάταξης, αποδίδει μια λειτουργική διάταξη δημιουργώντας κώδικα JavaScript από μια απλή περιγραφή κειμένου. Θέλετε ένα κουμπί που λέει "εγγραφή" σε σχήμα καρπουζιού; Θέλετε κάποιο κείμενο banner με μια σειρά από κουμπιά στα χρώματα του ουράνιου τόξου; Απλώς εξηγήστε τα στο βασικό κείμενο και η γεννήτρια διάταξης του Sharif Shameem θα γράψει τον κώδικα για εσάς. Άλλο, α Μηχανή αναζήτησης με βάση το GPT-3 που δημιουργήθηκε από την Paras Chopra, μπορεί να μετατρέψει οποιοδήποτε γραπτό ερώτημα σε απάντηση και σε σύνδεσμο URL για παροχή περισσότερων πληροφοριών. Ένα άλλο, το αντίστροφο του Francis Jervis του Michael Tefula, μεταφράζει νομικά έγγραφα σε απλά αγγλικά. Ένα άλλο, του Raphaël Millière, γράφει φιλοσοφικά δοκίμια. Και ένας άλλος, του Gwern Branwen, μπορεί δημιουργούν δημιουργική φαντασία.

«Δεν περίμενα ένα μεμονωμένο γλωσσικό μοντέλο να αποδίδει τόσο καλά σε ένα τόσο ποικίλο φάσμα εργασιών, από τη μετάφραση γλώσσας και τη δημιουργία έως τη σύνοψη κειμένων και την εξαγωγή οντοτήτων», είπε ο Joshi. "Σε ένα από τα δικά μου πειράματα, χρησιμοποίησα το GPT-3 για να προβλέψω τις αντιδράσεις χημικής καύσης και το έκανε εκπληκτικά καλά».

Περισσότερα από πού προήλθε

Οι μετασχηματιστικές χρήσεις του GPT-3 δεν σταματούν επίσης εκεί. Επιστήμονας υπολογιστών Τάιλερ Λάστοβιτς έχει χρησιμοποιήσει το GPT-3 για να δημιουργήστε ψεύτικους ανθρώπους, συμπεριλαμβανομένης της ιστορίας, με τους οποίους μπορείτε στη συνέχεια να αλληλεπιδράσετε μέσω κειμένου. Εν τω μεταξύ, ο Andrew Mayne έδειξε ότι το GPT-3 μπορεί να είναι χρησιμοποιείται για τη μετατροπή των τίτλων ταινιών σε emojis. Νικ Γουόλτον, επικεφαλής τεχνολογίας του Latitude, του στούντιο πίσω από το παιχνίδι περιπέτειας κειμένου που δημιουργείται από GPT AI Dungeon πρόσφατα έκανε το ίδιο για να δει αν μπορεί να γυρίσει μεγαλύτερες σειρές περιγραφής κειμένου σε emoji. Και η Copy.ai, μια startup που δημιουργεί εργαλεία συγγραφής κειμένων με το GPT-3, αξιοποιεί το μοντέλο για ό, τι αξίζει, με ένα μηνιαίο επαναλαμβανόμενα έσοδα 67.000 $ από τον Μάρτιο — και πρόσφατο γύρο χρηματοδότησης 2,9 εκατομμυρίων δολαρίων.

"Σίγουρα, υπήρξε έκπληξη και μεγάλο δέος όσον αφορά τη δημιουργικότητα για την οποία οι άνθρωποι έχουν χρησιμοποιήσει το GPT-3." Sandhini Agarwal, ένα A.I. Ο ερευνητής πολιτικής για το OpenAI είπε στο Digital Trends. «Τόσες πολλές περιπτώσεις χρήσης είναι τόσο δημιουργικές και σε τομείς που ούτε εγώ είχα προβλέψει, θα είχα πολλές γνώσεις. Αυτό είναι ενδιαφέρον να το δούμε. Ωστόσο, το GPT-3 - και όλη αυτή η κατεύθυνση της έρευνας που ακολούθησε το OpenAI - ήταν πολύ με την ελπίδα ότι αυτό θα μας έδινε ένα A.I. μοντέλο που ήταν πιο γενικής χρήσης. Το όλο θέμα ενός A.I γενικής χρήσης. μοντέλο είναι [ότι θα ήταν] ένα μοντέλο που θα ήθελε να κάνει όλα αυτά τα διαφορετικά A.I. καθήκοντα."

Πολλά από τα έργα υπογραμμίζουν ένα από τα μεγάλα προστιθέμενα αξία του GPT-3: την έλλειψη εκπαίδευσης που απαιτεί. Η μηχανική μάθηση έχει μεταμορφώσει με όλους τους τρόπους τις τελευταίες δύο δεκαετίες. Αλλά η μηχανική εκμάθηση απαιτεί μεγάλο αριθμό παραδειγμάτων εκπαίδευσης για να μπορέσει να δώσει σωστές απαντήσεις. Το GPT-3, από την άλλη πλευρά, έχει μια «ικανότητα λίγων βολών» που του επιτρέπει να διδαχθεί να κάνει κάτι με λίγα μόνο παραδείγματα.

Αληθινός ταύρος***τ

Το GPT-3 είναι άκρως εντυπωσιακό. Αλλά θέτει και προκλήσεις. Μερικά από αυτά σχετίζονται με το κόστος: Για υπηρεσίες μεγάλου όγκου όπως τα chatbot, τα οποία θα μπορούσαν να επωφεληθούν από τη μαγεία του GPT-3, το εργαλείο μπορεί να είναι πολύ ακριβό για χρήση. (Ένα μόνο μήνυμα θα μπορούσε να κοστίσει 6 σεντς που, αν και δεν είναι ακριβώς το σπάσιμο της τράπεζας, σίγουρα αθροίζονται.)

Άλλοι σχετίζονται με την ευρεία διαθεσιμότητά του, πράγμα που σημαίνει ότι είναι πιθανό να είναι δύσκολο να χτιστεί αποκλειστικά μια startup, καθώς ο έντονος ανταγωνισμός πιθανότατα θα μειώσει τα περιθώρια κέρδους.

Ένα άλλο είναι η έλλειψη μνήμης. Το παράθυρο του πλαισίου του τρέχει λίγο κάτω από 2.000 λέξεις τη φορά πριν, όπως ο χαρακτήρας του Guy Pierce στην ταινία Ενθύμιο, γίνεται επαναφορά της μνήμης του. «Αυτό περιορίζει σημαντικά το μήκος του κειμένου που μπορεί να δημιουργήσει, περίπου σε μια σύντομη παράγραφο ανά αίτημα», είπε ο Lastovich. «Πρακτικά, αυτό σημαίνει ότι δεν είναι σε θέση να δημιουργήσει μεγάλα έγγραφα, ενώ εξακολουθεί να θυμάται τι συνέβη στην αρχή».

Ίσως η πιο αξιοσημείωτη πρόκληση, ωστόσο, σχετίζεται επίσης με τη μεγαλύτερη δύναμή του: τις ικανότητές του σε συνδιασμό. Το Confabulation είναι ένας όρος που χρησιμοποιείται συχνά από τους γιατρούς για να περιγράψει τον τρόπο με τον οποίο ορισμένα άτομα με προβλήματα μνήμης μπορούν να κατασκευάζουν πληροφορίες που φαίνονται αρχικά πειστικές, αλλά που δεν αντέχουν απαραίτητα σε πιο προσεκτικό έλεγχο επιθεώρηση. Η ικανότητα του GPT-3 να συνδυάζει είναι, ανάλογα με το πλαίσιο, μια δύναμη και μια αδυναμία. Για δημιουργικά έργα, μπορεί να είναι υπέροχο, επιτρέποντάς του να ριφθεί σε θέματα χωρίς να ανησυχεί για οτιδήποτε τόσο εγκόσμιο όσο η αλήθεια. Για άλλα έργα, μπορεί να είναι πιο δύσκολο.

Ο Φράνσις Τζέρβις του Augrented αναφέρεται στην ικανότητα του GPT-3 να «δημιουργεί εύλογες βλακείες». Ο Νικ Γουόλτον του AI Dungeon είπε: «Το GPT-3 είναι πολύ καλό στο να γράφει δημιουργικό κείμενο που φαίνεται ότι θα μπορούσε να είχε γραφτεί από άνθρωπο… Ένα από τα Οι αδυναμίες, ωστόσο, είναι ότι μπορεί συχνά να γράφει σαν να έχει μεγάλη αυτοπεποίθηση — ακόμα κι αν δεν έχει ιδέα ποια είναι η απάντηση σε ένα το ερώτημα είναι."

Πίσω στο κινέζικο δωμάτιο

Από αυτή την άποψη, το GPT-3 μας επιστρέφει στο οικείο έδαφος του κινεζικού δωματίου του John Searle. Το 1980, ο Searle, ένας φιλόσοφος, δημοσίευσε ένα από τα πιο γνωστά A.I. πειράματα σκέψης, επικεντρώθηκε στο θέμα της «κατανόησης». Το Κινέζικο Δωμάτιο μας ζητά να φανταστούμε ένα άτομο κλειδωμένο σε ένα δωμάτιο με πλήθος γραμμάτων σε μια γλώσσα που δεν καταλαβαίνει. Το μόνο που αναγνωρίζουν είναι αφηρημένα σύμβολα. Το δωμάτιο περιέχει επίσης ένα σύνολο κανόνων που δείχνουν πώς ένα σύνολο συμβόλων αντιστοιχεί με ένα άλλο. Λαμβάνοντας υπόψη μια σειρά ερωτήσεων προς απάντηση, ο ένοικος του δωματίου πρέπει να αντιστοιχίσει τα σύμβολα ερωτήσεων με τα σύμβολα απάντησης. Αφού επαναλάβουν αυτή την εργασία πολλές φορές, γίνονται ικανοί να την εκτελούν — παρόλο που δεν έχουν ιδέα τι σημαίνει κανένα από τα δύο σετ συμβόλων, απλώς ότι το ένα αντιστοιχεί στο άλλο.

Το GPT-3 είναι ένας κόσμος μακριά από τα είδη γλωσσικής A.I. που υπήρχε την εποχή που έγραφε ο Searle. Ωστόσο, το ζήτημα της κατανόησης είναι τόσο ακανθώδες όσο ποτέ.

«Αυτός είναι ένας πολύ αμφιλεγόμενος τομέας αμφισβήτησης, όπως είμαι σίγουρος ότι γνωρίζετε, επειδή υπάρχουν τόσες πολλές διαφορές απόψεις για το αν, γενικά, τα γλωσσικά μοντέλα… θα είχαν ποτέ [αληθινή] κατανόηση», δήλωσε ο Sandhini του OpenAI Agarwal. «Αν με ρωτάτε για το GPT-3 αυτή τη στιγμή, μερικές φορές αποδίδει πολύ καλά, άλλες φορές όχι πολύ καλά. Υπάρχει αυτή η τυχαιότητα κατά κάποιο τρόπο σχετικά με το πόσο σημαντικό μπορεί να σας φαίνεται το αποτέλεσμα. Μερικές φορές μπορεί να εντυπωσιαστείτε από την έξοδο, και μερικές φορές η έξοδος θα είναι απλώς ανόητη. Δεδομένου αυτού, αυτή τη στιγμή κατά τη γνώμη μου… το GPT-3 δεν φαίνεται να έχει κατανόηση».

Μια πρόσθετη ανατροπή στο πείραμα του κινεζικού δωματίου σήμερα είναι ότι το GPT-3 δεν προγραμματίζεται σε κάθε βήμα από μια μικρή ομάδα ερευνητών. Είναι ένα τεράστιο μοντέλο που έχει εκπαιδευτεί σε ένα τεράστιο σύνολο δεδομένων που αποτελείται, λοιπόν, από το διαδίκτυο. Αυτό σημαίνει ότι μπορεί να πάρει συμπεράσματα και προκαταλήψεις που μπορεί να κωδικοποιηθούν σε κείμενο που βρίσκεται στο διαδίκτυο. Έχετε ακούσει την έκφραση ότι είστε κατά μέσο όρο από τα πέντε άτομα με τα οποία περιτριγυρίζετε τον εαυτό σας; Λοιπόν, το GPT-3 εκπαιδεύτηκε σε σχεδόν αμέτρητες ποσότητες δεδομένων κειμένου από πολλές πηγές, όπως βιβλία, Wikipedia και άλλα άρθρα. Από αυτό, μαθαίνει να προβλέπει την επόμενη λέξη σε οποιαδήποτε σειρά, σαρώνοντας τα δεδομένα εκπαίδευσης για να δει συνδυασμούς λέξεων που χρησιμοποιήθηκαν πριν. Αυτό μπορεί να έχει ανεπιθύμητες συνέπειες.

Ταΐζοντας τους στοχαστικούς παπαγάλους

Αυτή η πρόκληση με μεγάλα γλωσσικά μοντέλα τονίστηκε για πρώτη φορά στο α πρωτοποριακό χαρτί με θέμα τους λεγόμενους στοχαστικούς παπαγάλους. Ένας στοχαστικός παπαγάλος — ένας όρος που επινοήθηκε από τους συγγραφείς, οι οποίοι συμπεριέλαβαν στις τάξεις τους τον πρώην επικεφαλής της ηθικής A.I της Google. ομάδα, Timnit Gebru — αναφέρεται σε ένα μεγάλο γλωσσικό μοντέλο που «[συνθέτει] τυχαία αλληλουχίες γλωσσικών μορφών που έχει παρατηρήσει στα τεράστια εκπαιδευτικά της δεδομένα, σύμφωνα με πιθανολογικές πληροφορίες για τον τρόπο που συνδυάζονται, αλλά χωρίς καμία αναφορά στο νόημα."

"Έχοντας εκπαιδευτεί σε μεγάλο μέρος του Διαδικτύου, είναι σημαντικό να αναγνωρίσουμε ότι θα φέρει ορισμένες από τις προκαταλήψεις του." Albert Gozzi, ένας άλλος χρήστης του GPT-3, είπε στο Digital Trends. "Γνωρίζω ότι η ομάδα του OpenAI εργάζεται σκληρά για να μετριάσει αυτό με μερικούς διαφορετικούς τρόπους, αλλά θα περίμενα ότι αυτό θα είναι ένα ζήτημα για [κάποιο] χρόνο στο μέλλον."

Τα αντίμετρα του OpenAI για την άμυνα έναντι της μεροληψίας περιλαμβάνουν ένα φίλτρο τοξικότητας, το οποίο φιλτράρει ορισμένες γλώσσες ή θέματα. Το OpenAI εργάζεται επίσης σε τρόπους ενσωμάτωσης της ανθρώπινης ανατροφοδότησης, προκειμένου να είναι σε θέση να προσδιορίσει σε ποιες περιοχές δεν πρέπει να περιπλανηθεί. Επιπλέον, η ομάδα ελέγχει την πρόσβαση στο εργαλείο, έτσι ώστε ορισμένες αρνητικές χρήσεις του εργαλείου να μην έχουν πρόσβαση.

"Ένας από τους λόγους που ίσως δεν έχετε δει πάρα πολλούς από αυτούς τους κακόβουλους χρήστες είναι επειδή έχουμε μια εντατική διαδικασία ελέγχου εσωτερικά", είπε ο Agarwal. «Ο τρόπος που δουλεύουμε είναι ότι κάθε φορά που θέλετε να χρησιμοποιήσετε το GPT-3 σε ένα προϊόν που θα αναπτυχθεί πραγματικά, πρέπει να περάσετε από μια διαδικασία όπου μια ομάδα - όπως μια ομάδα ανθρώπων - εξετάζει πραγματικά πώς θέλετε να χρησιμοποιήσετε το. … Στη συνέχεια, με βάση τη διασφάλιση ότι δεν πρόκειται για κάτι κακόβουλο, θα σας δοθεί πρόσβαση.”

Ωστόσο, ορισμένα από αυτά είναι προκλητικά - κυρίως επειδή η μεροληψία δεν είναι πάντα μια ξεκάθαρη περίπτωση χρήσης συγκεκριμένων λέξεων. Ο Τζέρβις σημειώνει ότι, κατά καιρούς, τα μηνύματά του για ενοικίαση GPT-3 μπορεί να «τείνουν προς το στερεότυπο φύλο [ή] τάξη υποθέσεις." Αν αφεθεί χωρίς επίβλεψη, μπορεί να υποθέσει την ταυτότητα φύλου του υποκειμένου σε μια επιστολή ενοικίασης, με βάση την οικογένειά του ρόλος ή δουλειά. Αυτό μπορεί να μην είναι το πιο οδυνηρό παράδειγμα A.I. προκατάληψη, αλλά υπογραμμίζει τι συμβαίνει όταν απορροφώνται μεγάλες ποσότητες δεδομένων και στη συνέχεια ανασυναρμολογούνται πιθανολογικά σε ένα γλωσσικό μοντέλο.

«Η προκατάληψη και η δυνατότητα για ρητές επιστροφές υπάρχουν οπωσδήποτε και απαιτούν προσπάθεια από τους προγραμματιστές να αποφευχθούν», είπε ο Tyler Lastovich. «Το OpenAI επισημαίνει δυνητικά τοξικά αποτελέσματα, αλλά τελικά προσθέτει μια ευθύνη που πρέπει να σκεφτούν σκληρά οι πελάτες πριν θέσουν το μοντέλο στην παραγωγή. Ένα ιδιαίτερα δύσκολο πλεονέκτημα για την ανάπτυξη είναι η τάση του μοντέλου να λέει ψέματα – καθώς δεν έχει καμία ιδέα για αληθινές ή ψευδείς πληροφορίες».

Τα γλωσσικά μοντέλα και το μέλλον της A.I.

Εννέα μήνες μετά το ντεμπούτο του, το GPT-3 σίγουρα ανταποκρίνεται στη τιμολόγησή του ως αλλαγή παιχνιδιών. Αυτό που κάποτε ήταν καθαρά δυναμικό έχει αποδειχθεί ότι μπορεί να πραγματοποιηθεί. Ο αριθμός των συναρπαστικών περιπτώσεων χρήσης για το GPT-3 υπογραμμίζει τον τρόπο με τον οποίο ένα A.I που δημιουργεί κείμενο. είναι πολύ πιο ευέλικτο από ό, τι μπορεί να προτείνει αυτή η περιγραφή.

Όχι ότι είναι το νέο παιδί στο μπλοκ αυτές τις μέρες. Νωρίτερα φέτος, το GPT-3 ξεπεράστηκε ως το μεγαλύτερο μοντέλο γλώσσας. Το Google Brain παρουσίασε ένα νέο μοντέλο γλώσσας με περίπου 1,6 τρισεκατομμύρια παραμέτρους, καθιστώντας το εννέα φορές το μέγεθος της προσφοράς του OpenAI. Ούτε αυτό είναι πιθανό να είναι το τέλος του δρόμου για τα γλωσσικά μοντέλα. Αυτά είναι εξαιρετικά ισχυρά εργαλεία — με τη δυνατότητα να μεταμορφώσουν την κοινωνία, ενδεχομένως προς το καλύτερο και προς το χειρότερο.

Σίγουρα υπάρχουν προκλήσεις με αυτές τις τεχνολογίες και είναι αυτές που εταιρείες όπως το OpenAI, ανεξάρτητοι ερευνητές και άλλοι, πρέπει να συνεχίσουν να αντιμετωπίζουν. Ωστόσο, συνολικά, είναι δύσκολο να υποστηριχθεί ότι τα γλωσσικά μοντέλα δεν γίνονται ένα από τα πιο ενδιαφέροντα και σημαντικά σύνορα της έρευνας της τεχνητής νοημοσύνης.

Ποιος θα πίστευε ότι οι γεννήτριες κειμένου θα μπορούσαν να είναι τόσο πολύ σημαντικές; Καλώς ήρθατε στο μέλλον της τεχνητής νοημοσύνης.

Συστάσεις των συντακτών

• Αναλογικό A.I.; Ακούγεται τρελό, αλλά μπορεί να είναι το μέλλον
• Διαβάστε την απόκοσμα όμορφη «συνθετική γραφή» ενός A.I. που νομίζει ότι είναι Θεός
• Αλγοριθμική αρχιτεκτονική: Πρέπει να αφήσουμε το A.I. σχεδίαση κτιρίων για εμάς;
• Γυναίκες με Byte: Το σχέδιο της Vivienne Ming να λύσει «ακατάστατα ανθρώπινα προβλήματα» με A.I.
• Γιατί η διδασκαλία στα ρομπότ να παίζουν κρυφτό θα μπορούσε να είναι το κλειδί για την επόμενη γενιά A.I.