ג'רי טוורק חותך את לוח הזמנים לשנתיים: חוקרים יהפכו שאריים במחקר AI

טוורק (Jerry Tworek), שהוביל את פיתוח o1 ו-o3 ובנה את קודקס המקורי בשבע שנותיו ב-OpenAI, לא ממתין לאף אחד. בראיון שהעניק לאחרונה הוא מתאר אווירה של ספירה לאחור במסדרונות המעבדות: חוקרים אומרים זה לזה שנותרו להם "כמה ימי עבודה אחרונים", וממליצים לעבוד כל עוד אפשר. להערכתו, בתוך שנתיים בני אדם יחדלו להיות גורם משמעותי בתהליך המחקר עצמו, לא ביישום, לא בפיקוח, אלא בליבת הפיתוח של המודלים הבאים.

האדריכל שערק מהמבנה שבנה

טוורק עזב את OpenAI בינואר והקים את CoreAutoAI, סטארטאפ שממוקד באוטומציה של מחקר AI מקצה לקצה. הרקע שלו מקשה לפטור את התחזית כרטוריקה: הוא חתום על שניים מהמודלים שהגדירו את דור ההיגיון (reasoning) הנוכחי, ועל הכלי שהפך כתיבת קוד למשימת מודל שפה סטנדרטית. כעת הוא מהמר שהפרדיגמה הנוכחית, ארכיטקטורת הטרנספורמר, הגיעה לקצה יכולתה, ושהפריצה הבאה תגיע מארכיטקטורה אחרת לגמרי.

הטרנספורמר אינו הבעיה, הוא התקרה

לדברי טוורק, הבעיה אינה בביצועי הטרנספורמר אלא במבנה התמריצים שהוא כופה: סקיילינג של חישוב ונתונים כתחליף לעומק ארכיטקטוני. הוא חושף שבמהלך שנותיו ב-OpenAI נעשו שלושה או ארבעה נסיונות רציניים לפתח ארכיטקטורה חלופית; אף אחד לא הבשיל למוצר. המסקנה שלו: המעבדות הגדולות נעולות על נתיב אחד כי עלות הסטייה ממנו נמדדת בחודשי אימון אבודים ובמיליארדי דולרים של תשתית, הימור שמעטות יכולות להרשות לעצמן.

מחשוב כמחסום כניסה, לא כיתרון יחסי

הטענה החריפה ביותר בראיון נוגעת לריכוזיות: "אם אינך המעבדה עם טביעת הרגל החישובית הגדולה ביותר, אתה מת". טוורק מעריך שרק כעשר חברות החזיקו אי פעם בסיכוי ריאלי לתפוס את המקום של Anthropic במירוץ החזית. שאר השחקנים, כולל מעבדות קוד פתוח ו"ענני ניאו" שמוסיפים שכבת ערך מעל מודלי בסיס, משחקים משחק שונה, מוגבל מראש על ידי גישה לחומרה. המספר שהוא נוקב בו לגבי מי שמבין מודל חזית "מקצה לקצה", 30 עד 50 איש בעולם כולו, מדגים עד כמה הידע מרוכז.

בין איליה ל-GPU: היסטוריה קצרה של הווה

טוורק חוזר לרגעים מעצבים: ה-all-hands של איליה סוצקבר ב-2019, שבו שורטטה מפת הדרכים שהתממשה כמעט במלואה, והרגע שבו יקוב פצ'וקי (Jakub Pachocki) העביר לידיו את המפתחות למאגר ה-GPU שאיפשר את אימון o1. הוא מציין בגאווה את הטיפול של OpenAI בהשקת GPT-4o, ומתאר את בעיות היישור (alignment) של הדורות הקודמים ככאלה שנפתרו "באופן מפתיע לטובה", אם כי הוא מסייג שהמבחן האמיתי עוד לפנינו.

סוכנים מבצעים, בני אדם מנסחים תובנה

החלוקה שטוורק מצייר כבר עכשיו ברורה: הסוכנים (agents) מוציאים לפועל, כותבים קוד, מריצים ניסויים, מנתחים תוצאות, בעוד בני האדם מספקים את התובנה היצירתית, את בחירת הכיוון, את השאלה "מה הלאה". כתיבה יצירתית, הוא מדגיש, מפגרת אחרי קידוד לא בגלל מגבלת מחקר אלא בגלל היעדר פונקציית תגמול ברורה; בקוד המבחן בינארי, בטקסט הוא סובייקטיבי. כשגם הצוואר הזה ייפתח, שנתיים מהיום על פי השעון שלו, הלולאה תיסגר, והחברה עצמה, לטענתו, תהפוך למוצר.