כאשר האלגוריתם ליצירת טקסט GPT-2 נוצר בשנת 2019, הוא סומן כאחד ה"מְסוּכָּן"א.י. אלגוריתמים בהיסטוריה. למעשה, היו שטענו שזה כל כך מסוכן שלעולם אין לשחררו לציבור (ספוילר: זה היה) פן יפתח את "אפוקליפסת רובוט." זה, כמובן, מעולם לא קרה. GPT-2 בסופו של דבר שוחרר לציבור, ואחרי שהוא לא הרס את העולם, יוצריו עברו לדבר הבא. אבל איך עוקבים אחר האלגוריתם המסוכן ביותר שנוצר אי פעם?
תוכן
- סיפור של הקלטת
- הגודל משנה
- עוברים את מבחן טיורינג?
התשובה, לפחות על הנייר, פשוטה: בדיוק כמו סרט ההמשך לכל סרט מצליח, אתה מייצר משהו שהוא גדול יותר, רע יותר ויקר יותר. רק קסנומורף אחד בראשון חייזר? כלול קן שלם מהם בסרט ההמשך, חוצנים. רק מכונה אחת כמעט בלתי ניתנת להריסה שנשלחה חזרה מהעתיד פנימה שליחות קטלנית? תן לקהל שניים מהם להתמודד איתם קטלנית 2: יום הדין.
הדבר נכון גם לגבי A.I. - במקרה הזה, GPT-3, רשת נוירונים לעיבוד שפה טבעית שפורסמה לאחרונה שנוצרה על ידי OpenAI, מעבדת המחקר לבינה מלאכותית שהייתה פעם (אבל כבר לא) בחסות SpaceX ומנכ"ל טסלה אילון מאסק.
סרטונים מומלצים
GPT-3 הוא האחרון בסדרה של רשתות עצביות יוצרות טקסט. השם GPT מייצג Generative Pretrained Transformer, המתייחס לשנת 2017
חדשנות של גוגל שנקראת רובוטריק שיכול להבין את הסבירות שמילה מסוימת תופיע עם מילים מסביב. ניזון מכמה משפטים, כמו התחלה של כתבה חדשותית, מודל השפה שעבר הכשרה מראש של GPT יכול ליצור המשך מדויק באופן משכנע, אפילו כולל ניסוח של מפוברקים ציטוטים.זו הסיבה שחלקם חששו שזה יכול להוכיח את עצמו כמסוכן, על ידי כך שהוא עוזר ליצור טקסט שקרי שכמו זיופים עמוקים, יכול לעזור להפיץ חדשות מזויפות באינטרנט. עכשיו, עם GPT-3 הוא גדול וחכם מתמיד.
סיפור של הקלטת
GPT-3 הוא, כפי שתבהיר השוואה בסגנון "סיפור הקלטת" בסגנון אגרוף, חבלן ממש כבד של מתמודד. ל-GPT המקורי של OpenAI לשנת 2018 היו 110 מיליון פרמטרים, המתייחסים למשקלים של החיבורים המאפשרים לרשת עצבית ללמוד. ל-GPT-2 של 2019, שגרם להרבה מהמהומה הקודמת לגבי היישומים הזדוניים הפוטנציאליים שלו, היו 1.5 מיליארד פרמטרים. חודש שעבר, הציגה מיקרוסופט את מה שהיה אז מודל השפה המאומן מראש הגדול בעולם, המתגאה ב-17 מיליארד פרמטרים. ל-GPT-3 המפלצתי של 2020, לשם השוואה, יש תופעה מדהימה 175 מיליארד פרמטרים. על פי הדיווחים, זה עלה בסביבות 12 מיליון דולר לאימון.
"הכוח של המודלים האלה הוא שכדי לחזות בהצלחה את המילה הבאה הם בסופו של דבר לומדים עולם חזק באמת מודלים שיכולים לשמש לכל מיני דברים מעניינים", ניק וולטון, סמנכ"ל הטכנולוגיה של Latitude, הסטודיו מֵאָחוֹר א.י. צִינוֹק, משחק הרפתקאות טקסט שנוצר על ידי A.I. המופעל על ידי GPT-2, סיפר ל-Digital Trends. "אתה יכול גם לכוונן את המודלים הבסיסיים כדי לעצב את הדור בכיוון מסוים תוך שמירה על הידע שהמודל למד בהכשרה מוקדמת".
המשאבים החישוביים הדרושים כדי להשתמש בפועל ב-GPT-3 בעולם האמיתי הופכים אותו לבלתי מעשי ביותר.
גוורן בראנוון, פרשן וחוקר שכותב על פסיכולוגיה, סטטיסטיקה וטכנולוגיה, אמר ל-Digital Trends כי מודל שפה מיומן מראש ש-GPT מייצג הפך ל"חלק קריטי יותר ויותר בכל משימת למידת מכונה הנוגעת על טקסט. באותו האופן שבו [ההצעה הסטנדרטית עבור] משימות רבות הקשורות לתמונה הפכו ל'שימוש ב [רשת עצבית מפותלת], משימות רבות הקשורות לשפה הפכו ל'שימוש בשפה מכווננת דֶגֶם.'"
OpenAI - שסירבה להגיב למאמר זה - היא לא החברה היחידה שעושה עבודה מרשימה עם עיבוד שפה טבעית. כאמור, מיקרוסופט עלתה לצלחת עם עבודה מסנוורת משלה. פייסבוק, בינתיים, משקיעה רבות בטכנולוגיה ויצרה פריצות דרך כמו BlenderBot, הצ'אטבוט הגדול ביותר אי פעם בקוד פתוח ובדומיין פתוח. זה עולה על אחרים מבחינת מעורבות וגם מרגיש אנושי יותר, על פי מעריכים אנושיים. כפי שיודע כל מי שהשתמש במחשב בשנים האחרונות, מכונות משתפרות בהבנתנו מאי פעם - ועיבוד שפה טבעית היא הסיבה לכך.
הגודל משנה
אבל ה-GPT-3 של OpenAI עדיין עומד לבדו בסולם שובר השיאים שלו. "GPT-3 מייצר באזז בעיקר בגלל הגודל שלו", ג'ו דייוויסון, מהנדס מחקר ב- פנים מחבקות, סטארט-אפ שעובד על קידום עיבוד שפה טבעית על ידי פיתוח כלים בקוד פתוח וביצוע מחקר בסיסי, אמר ל-Digital Trends.
השאלה הגדולה היא למה כל זה ישמש. GPT-2 מצא את דרכו לאינספור שימושים, בשימוש עבור מערכות שונות לייצור טקסט.
דייוויסון הביע זהירות מסוימת כי GPT-3 עשוי להיות מוגבל על ידי גודלו. "הצוות ב-OpenAI דחף ללא עוררין את הגבול של כמה גדולים המודלים האלה יכולים להיות והראה שגידולם מפחית את התלות שלנו בנתונים ספציפיים למשימה בהמשך הקו", אמר. "עם זאת, המשאבים החישוביים הדרושים לשימוש בפועל ב-GPT-3 בעולם האמיתי הופכים אותו לבלתי מעשי ביותר. אז למרות שהעבודה בהחלט מעניינת ומעוררת תובנה, לא הייתי קורא לזה צעד גדול קדימה עבור התחום".
אבל אחרים לא מסכימים. "קהילת [internal-link post_id="NN"]בינה מלאכותית[/internal-link] זיהתה זמן רב כי שילוב של מודלים גדולים יותר ויותר עם יותר ויותר נתונים מניב שיפורים כמעט צפויים בכוחם של המודלים הללו, בדומה מאוד לחוק מור של קנה מידה של כוח מחשוב", יאניק קילצ'ר, א.I. חוֹקֵר WHO מנהל ערוץ יוטיוב, אמר ל-Digital Trends. "עם זאת, כמו חוק מור, רבים העלו השערות שאנו נמצאים בסוף היכולת לשפר מודלים של שפה על ידי שינוי קנה המידה שלהם. למעלה, וכדי להשיג ביצועים גבוהים יותר, נצטרך לעשות המצאות משמעותיות במונחים של ארכיטקטורות חדשות או הכשרה שיטות. GPT-3 מראה שזה לא נכון והיכולת לדחוף ביצועים פשוט דרך קנה מידה נראית בלתי נשברת - ואין באמת סוף באופק".
עוברים את מבחן טיורינג?
Branwen מציע שכלים כמו GPT-3 יכולים להיות כוח משבש גדול. "דרך אחת לחשוב על זה היא, אילו עבודות כוללות לקיחת קטע טקסט, להפוך אותו ולפלוט קטע טקסט נוסף?" אמר ברנוון. "כל עבודה שמתוארת על ידי זה - כגון קידוד רפואי, חיוב, פקידי קבלה, תמיכת לקוחות, [ועוד] תהיה יעד טוב לכוונון עדין של GPT-3 ולהחלפת אותו אדם. הרבה מאוד עבודות הן פחות או יותר "העתקת שדות מגיליון אלקטרוני או PDF אחד לגיליון אלקטרוני או PDF אחר", וסוג כזה של אוטומציה משרדית, שהיא כאוטית מדי לכתוב בקלות תוכנית רגילה להחלפה, תהיה פגיעה ל-GPT-3 מכיוון שהיא יכולה ללמוד את כל החריגים והמוסכמות השונות ולהתפקד בצורה טובה כמו האדם היה."
בסופו של דבר, עיבוד שפה טבעית עשוי להיות רק חלק אחד מ-A.I., אך ניתן לטעון שהוא חותך את הליבה של חלום הבינה המלאכותית באופן שמעט דיסציפלינות אחרות בתחום עושות. ה מבחן טיורינג המפורסם, אחד הוויכוחים המכריעים שהניעו את התחום, הוא בעיית עיבוד שפה טבעית: האם אתה יכול לבנות A.I. שיכול לעבור את עצמו באופן משכנע כאדם? העבודה האחרונה של OpenAI בהחלט מקדמת את המטרה הזו. כעת מה שנותר הוא לראות אילו יישומים ימצאו לזה החוקרים.
"אני חושב שזאת העובדה שטקסט GPT-2 יכול לעבור כל כך בקלות לאדם עד שקשה לנפנף אותו ביד כ'רק זיהוי דפוסים' או 'סתם שינון'", אמר ברנוון. "כל מי שהיה בטוח שהדברים שלמידה עמוקה עושה אינו דומה לאינטליגנציה, צריך היה לזעזע את אמונתו כדי לראות כמה רחוק זה הגיע."
המלצות עורכים
- מחברים מובילים דורשים תשלום מחברות בינה מלאכותית על השימוש בעבודתם
- יצרנית ChatGPT OpenAI עומדת בפני חקירה של FTC על חוקי הגנת הצרכן
- OpenAI בונה צוות חדש כדי לעצור בינה מלאכותית סופר אינטליגנטית
- יוצר ChatGPT מבקש לחסל 'הזיות' של צ'אטבוט
- אפליקציית ChatGPT החדשה של OpenAI היא בחינם לאייפון ולאייפד
