כיצד GPT-3 מכניס בשקט את ה-A.I מַהְפֵּכָה

למה זה טוב? לגמרי הכל

לאחרונה התקשר פרנסיס ג'רוויס, מייסד סטארטאפ אוגרנט, השתמשו ב-GPT-3 כדי לעזור לאנשים שנאבקים עם שכר הדירה שלהם לכתוב מכתבים למשא ומתן על הנחות על שכר הדירה. "הייתי מתאר את מקרה השימוש כאן כ'העברת סגנון'", אמר ג'רוויס ל-Digital Trends. "[זה לוקח] נקודות תבליט, שאפילו לא חייבות להיות באנגלית מושלמת, ו[מוציא] שניים עד שלושה משפטים בשפה פורמלית."

מופעל על ידי מודל שפה חזק במיוחד זה, הכלי של Jervis מאפשר לשוכרים לתאר את מצבם ואת הסיבה שהם זקוקים להסדר מוזל. "פשוט הזינו כמה מילים על הסיבה שאיבדת הכנסה, ובתוך כמה שניות תקבל הצעה משכנעת ורשמית להוסיף למכתבך", טוענת החברה.

זה רק קצה הקרחון. מתי אדיטיה ג'ושי, מדען למידת מכונה ומהנדס לשעבר של שירותי האינטרנט של אמזון, נתקל לראשונה ב-GPT-3, הוא היה כל כך המום ממה שהוא ראה שהוא הקים אתר, www.gpt3examples.com, כדי לעקוב אחר הטובים שבהם.

"זמן קצר לאחר ש-OpenAI הכריזה על ה-API שלהם, מפתחים החלו לצייץ הדגמות מרשימות של אפליקציות שנבנו באמצעות GPT-3", אמר ל-Digital Trends. "הם היו טובים להדהים. בניתי את [אתר האינטרנט שלי] כדי להקל על הקהילה למצוא את הדוגמאות הללו ולגלות דרכים יצירתיות לשימוש ב-GPT-3 כדי לפתור בעיות בתחום שלהן".

פרסונות סינתטיות אינטראקטיביות לחלוטין עם GPT-3 ו https://t.co/ZPdnEqR0Hn 🎇

הם יודעים מי הם, איפה הם עבדו, מי הבוס שלהם ועוד הרבה יותר. זה לא הבוט של אביך... pic.twitter.com/kt4AtgYHZL

— טיילר לאסטוביץ' (@tylerlastovich) 18 באוגוסט 2020

ג'ושי מצביע על כמה הדגמות שבאמת השפיעו עליו. אחת, א מחולל פריסה, מעבד פריסה פונקציונלית על ידי יצירת קוד JavaScript מתיאור טקסט פשוט. רוצים כפתור שאומר "הירשם" בצורת אבטיח? בא לכם על טקסט באנר עם סדרת כפתורים בצבעי הקשת? פשוט הסבירו אותם בטקסט בסיסי, ומחולל הפריסה של שריף שמיים יכתוב עבורכם את הקוד. אחר, א מנוע חיפוש מבוסס GPT-3 נוצר על ידי Paras Chopra, יכול להפוך כל שאילתה כתובה לתשובה ולקישור כתובת URL למתן מידע נוסף. אחר, ההפך של פרנסיס ג'רוויס מאת מייקל טפולה, מתרגם מסמכים משפטיים לאנגלית פשוטה. עוד אחד, מאת רפאל מילייר, כותב חיבורים פילוסופיים. ועוד אחד, מאת Gwern Branwen, יכול ליצור סיפורת יצירתית.

"לא ציפיתי שמודל שפה אחד יבצע כל כך טוב במגוון כל כך מגוון של משימות, מתרגום ויצירת שפה ועד לסיכום טקסט וחילוץ ישויות", אמר ג'ושי. "ב אחד מהניסויים שלי, השתמשתי ב-GPT-3 כדי לחזות תגובות בעירה כימיות, וזה עשה זאת בצורה מפתיעה".

עוד מאיפה זה הגיע

גם השימושים הטרנספורמטיביים של GPT-3 לא מסתיימים שם. מדען מחשבים טיילר לסטוביץ' השתמש ב-GPT-3 כדי ליצור אנשים מזויפים, כולל סיפור רקע, שניתן ליצור איתו אינטראקציה באמצעות טקסט. בינתיים, אנדרו מיין הראה ש-GPT-3 יכול להיות משמש להפיכת כותרות סרטים לאמוג'י. ניק וולטון, קצין טכנולוגיה ראשי של Latitude, האולפן מאחורי משחק הרפתקאות טקסט שנוצר על ידי GPT צינוק AI לאחרונה עשה את אותו הדבר כדי לראות אם זה יכול להסתובב מחרוזות ארוכות יותר של תיאור טקסט לאמוג'י. ו-Copy.ai, סטארט-אפ שבונה כלי קופירייטינג עם GPT-3, מקיש על המודל בכל מה שהוא שווה, עם תוכנית חודשית הכנסה חוזרת של $67,000 נכון למרץ - וסבב גיוס של 2.9 מיליון דולר לאחרונה.

"בהחלט, הייתה הפתעה והרבה יראת כבוד במונחים של היצירתיות שאנשים השתמשו ב-GPT-3 עבור," Sandhini Agarwal, A.I. חוקר מדיניות של OpenAI אמר ל-Digital Trends. "כל כך הרבה מקרי שימוש הם פשוט כל כך יצירתיים, ובתחומים שאפילו אני לא חזיתי, יהיה לו ידע רב עליהם. זה מעניין לראות. אבל עם זאת, GPT-3 - וכל כיוון המחקר הזה ש-OpenAI נקטה בו - היה מאוד עם תקווה שזה ייתן לנו A.I. דגם שהיה יותר למטרות כלליות. כל העניין של א.י. המודל הוא [שזה יהיה] דגם אחד שיוכל לעשות את כל ה-A.I השונים האלה. משימות."

רבים מהפרויקטים מדגישים את אחד מיתרונות הערך המוסף הגדולים של GPT-3: חוסר ההכשרה שהוא דורש. למידת מכונה עברה טרנספורמציה בכל מיני דרכים במהלך העשורים האחרונים. אבל למידת מכונה דורשת מספר רב של דוגמאות אימון כדי להיות מסוגלים להוציא תשובות נכונות. ל-GPT-3, לעומת זאת, יש "יכולת זריקות מועטות" שמאפשרת ללמד אותו לעשות משהו רק עם קומץ קטן של דוגמאות.

סביר *** t

GPT-3 מרשים ביותר. אבל זה גם מציב אתגרים. חלקם קשורים לעלות: עבור שירותים בנפח גבוה כמו צ'אט בוטים, שיכולים להפיק תועלת מהקסם של GPT-3, הכלי עשוי להיות יקר מדי לשימוש. (הודעה בודדת יכולה לעלות 6 סנט, שאמנם לא בדיוק שובר בנק, אבל בהחלט מצטבר.)

אחרים מתייחסים לזמינות הנרחבת שלו, כלומר, סביר להניח שיהיה קשה לבנות סטארט-אפ אך ורק סביבו מכיוון שהתחרות העזה ככל הנראה תפחית את השוליים.

אחר הוא חוסר הזיכרון; חלון ההקשר שלו עובר קצת פחות מ-2,000 מילים בכל פעם לפני כן, כמו דמותו של גאי פירס בסרט מַזכֶּרֶת, הזיכרון שלו מאופס. "זה מגביל באופן משמעותי את אורך הטקסט שהוא יכול ליצור, בערך לפסקה קצרה לכל בקשה", אמר לסטוביץ'. "באופן מעשי, זה אומר שהוא לא מסוגל להפיק מסמכים ארוכים תוך כדי שהוא זוכר מה קרה בהתחלה."

עם זאת, אולי האתגר הבולט ביותר נוגע גם לכוחו הגדול ביותר: יכולות הקונפאבולציה שלו. קונפאבולציה הוא מונח המשמש לעתים קרובות על ידי רופאים כדי לתאר את הדרך שבה אנשים עם בעיות זיכרון מסוגלים להמציא מידע שנראה משכנע בתחילה, אך אינו עומד בהכרח לבדיקה מקרוב בְּדִיקָה. היכולת של GPT-3 ליצור קשרים היא, בהתאם להקשר, חוזק וחולשה. עבור פרויקטים יצירתיים, זה יכול להיות נהדר, לאפשר לו לרפרף על נושאים בלי לדאוג למשהו ארצי כמו אמת. עבור פרויקטים אחרים, זה יכול להיות מסובך יותר.

פרנסיס ג'רוויס מ-Augrented מתייחס ליכולתו של GPT-3 "ליצור שטויות סבירות". ניק וולטון מ צינוק AI אמר: "GPT-3 הוא טוב מאוד בכתיבת טקסט יצירתי שנראה כאילו הוא יכול היה להיכתב על ידי אדם... אחד מהם עם זאת, החולשות הוא שלעתים קרובות הוא יכול לכתוב כאילו הוא מאוד בטוח - גם אם אין לו מושג מה התשובה ל השאלה היא."

בחזרה לחדר הסיני

בהקשר זה, GPT-3 מחזיר אותנו לקרקע המוכרת של החדר הסיני של ג'ון סירל. ב-1980 פרסם סרל, פילוסוף אחד ה-A.I. ניסויי מחשבה, התמקד בנושא "הבנה". החדר הסיני מבקש מאיתנו לדמיין אדם נעול בחדר עם גוש של כתיבה בשפה שהוא לא מבין. כל מה שהם מזהים הם סמלים מופשטים. החדר מכיל גם מערכת כללים המראים כיצד סט סמלים אחד מתכתב עם אחר. בהינתן סדרה של שאלות שיש לענות עליהן, על דייר החדר להתאים את סמלי השאלה עם סמלי התשובות. לאחר שחזרו על משימה זו פעמים רבות, הם הופכים מיומנים בביצועה - למרות שאין להם מושג מה המשמעות של כל קבוצת סמלים, רק שאחד מתאים לשני.

GPT-3 הוא עולם הרחק מסוגי A.I הלשוני. שהיה קיים בזמן שסירל כתב. עם זאת, שאלת ההבנה קוצנית כתמיד.

"זהו תחום מאוד שנוי במחלוקת של תשאול, כפי שאני בטוח שאתה מודע, כי יש כל כך הרבה שונות דעות לגבי האם, באופן כללי, למודלים של שפות... יהיה אי פעם הבנה [אמיתית]", אמר Sandhini של OpenAI אגרוואל. "אם אתה שואל אותי על GPT-3 כרגע, הוא מתפקד טוב מאוד לפעמים, אבל לא טוב מאוד בזמנים אחרים. יש את האקראיות הזו במידה מסוימת לגבי כמה המשמעותית עשויה להיראות לך הפלט. לפעמים אתה עלול להתפעל מהפלט, ולפעמים הפלט יהיה פשוט שטותי. בהתחשב בכך, כרגע לדעתי... נראה שאין ל-GPT-3 הבנה."

טוויסט נוסף בניסוי החדר הסיני היום הוא ש-GPT-3 לא מתוכנת בכל שלב על ידי צוות קטן של חוקרים. זה מודל ענק שעבר הכשרה על מערך נתונים עצום המורכב מהאינטרנט. המשמעות היא שהוא יכול לקלוט מסקנות והטיות שעלולות להיות מקודדות לטקסט שנמצא באינטרנט. שמעת את הביטוי שאתה ממוצע מבין חמשת האנשים שאתה מקיף את עצמך איתם? ובכן, GPT-3 הוכשר על כמויות כמעט בלתי נתפסות של נתוני טקסט ממקורות רבים, כולל ספרים, ויקיפדיה ומאמרים אחרים. מתוך כך, הוא לומד לחזות את המילה הבאה בכל רצף על ידי ניקוי נתוני האימון שלו כדי לראות צירופי מילים ששימשו בעבר. יכולות להיות לכך השלכות לא מכוונות.

האכלת התוכים הסטוכסטיים

אתגר זה עם מודלים של שפה גדולים הודגש לראשונה ב-a נייר פורץ דרך על הנושא של מה שנקרא תוכים סטוכסטיים. תוכי סטוכסטי - מונח שנטבע על ידי המחברים, שכללו בין שורותיהם את המנהיג השותף לשעבר של ה-A.I האתי של גוגל. צוות, תמנית גברו - מתייחס למודל שפה גדול ש "מחברת באופן אקראי רצפים של צורות לשוניות שצפתה בנתוני ההכשרה העצומים שלה, לפי מידע הסתברותי לגבי האופן שבו הן משתלבות, אך ללא כל התייחסות למשמעות."

"לאחר שעבר הכשרה על חלק גדול מהאינטרנט, חשוב להכיר בכך שהוא ישא חלק מההטיות שלו", אלברט גוזי, משתמש נוסף ב-GPT-3, אמר ל-Digital Trends. "אני יודע שצוות OpenAI עובד קשה כדי להפחית את זה בכמה דרכים שונות, אבל אני מצפה שזו תהיה בעיה לעוד זמן מה".

אמצעי הנגד של OpenAI להגנה מפני הטיה כוללים מסנן רעילות, המסנן שפה או נושאים מסוימים. OpenAI עובדת גם על דרכים לשילוב משוב אנושי על מנת להיות מסוגל לציין לאילו אזורים לא לסטות. בנוסף, הצוות שולט בגישה לכלי כך ששימושים שליליים מסוימים בכלי לא יקבלו גישה.

"אחת הסיבות שאולי לא ראית כמו יותר מדי מהמשתמשים הזדוניים האלה היא כי יש לנו תהליך סקירה אינטנסיבי פנימי", אמר אגרוואל. "הדרך שבה אנחנו עובדים היא שבכל פעם שאתה רוצה להשתמש ב-GPT-3 במוצר שבאמת ייפרס, אתה צריך לעבור תהליך שבו צוות - כמו, צוות של בני אדם - באמת סוקר איך אתה רוצה להשתמש זה.... לאחר מכן, בהתבסס על לוודא שלא מדובר במשהו זדוני, תינתן לך גישה."

עם זאת, חלק מזה מאתגר - לא מעט מכיוון שהטיה היא לא תמיד מקרה ברור של שימוש במילים מסוימות. ג'רוויס מציין שלפעמים, הודעות ההשכרה שלו ב-GPT-3 יכולות "נוטות למגדר [או] מעמד סטריאוטיפי הנחות." ללא השגחה, זה עשוי להניח את זהותו המגדרית של הנבדק על מכתב שכירות, בהתבסס על משפחתו תפקיד או עבודה. זו אולי לא הדוגמה הקשה ביותר של A.I. הטיה, אבל זה מדגיש מה קורה כאשר כמויות גדולות של נתונים נבלעות ואז מורכבות מחדש באופן הסתברותי במודל שפה.

"הטיה והפוטנציאל להחזרות מפורשות קיימים לחלוטין ודורשים מאמץ ממפתחים כדי להימנע", אמר טיילר לאסטוביץ'. "OpenAI אמנם מסמן תוצאות שעלולות להיות רעילות, אבל בסופו של דבר היא מוסיפה אחריות שלקוחות צריכים לחשוב עליה היטב לפני שמכניסים את הדגם לייצור. מקרה קצה שקשה במיוחד לפתח סביבו הוא הנטייה של המודל לשקר - מכיוון שאין לו מושג של מידע אמיתי או שקרי."

מודלים של שפה והעתיד של A.I.

תשעה חודשים לאחר הופעת הבכורה שלו, GPT-3 בהחלט עומד בחיוב שלו כמחליף משחק. מה שפעם היה פוטנציאל גרידא הוכיח את עצמו כפוטנציאל ממומש. מספר מקרי השימוש המסקרנים עבור GPT-3 מדגיש כיצד A.I יוצר טקסט. הוא הרבה יותר תכליתי ממה שהתיאור הזה עשוי להציע.

לא שזה הילד החדש בלוק בימים אלה. מוקדם יותר השנה, GPT-3 עקף כדגם השפה הגדול ביותר. Google Brain הציג לראשונה מודל שפה חדש עם כ-1.6 טריליון פרמטרים, מה שהופך אותו פי תשעה מההיצע של OpenAI. גם זה לא צפוי להיות סוף הדרך עבור מודלים לשוניים. אלו הם כלים חזקים ביותר - עם פוטנציאל להיות טרנספורמטיבי לחברה, פוטנציאלית לטוב ולרע.

אתגרים בהחלט קיימים עם הטכנולוגיות הללו, והם כאלה שחברות כמו OpenAI, חוקרים עצמאיים ואחרות חייבות להמשיך להתמודד. אבל במכלול, קשה לטעון שמודלים של שפה אינם הופכים להיות אחד הגבולות המעניינים והחשובים ביותר של חקר הבינה המלאכותית.

מי היה מאמין שמחוללי טקסט יכולים להיות כל כך חשובים? ברוכים הבאים לעתיד הבינה המלאכותית.

המלצות עורכים

• A.I אנלוגי? זה נשמע מטורף, אבל זה יכול להיות העתיד
• קרא את 'הכתב הסינטטי' היפה להחריד של א.י. שחושב שזה אלוהים
• ארכיטקטורה אלגוריתמית: האם לתת ל-A.I. לעצב לנו מבנים?
• נשים עם בייט: התוכנית של ויויאן מינג לפתור 'בעיות אנושיות מבולגנות' עם A.I.
• מדוע ללמד רובוטים לשחק מחבואים יכול להיות המפתח ל-A.I מהדור הבא.