המחיר הכבד של טרנספורמרים: מה יחליף את המנוע שמניע את תעשיית הבינה המלאכותית

הטרנספורמר (transformer) הוא בן תשע, ומתחיל להזדקן. מאז שחוקרים בגוגל פרסמו ב-2017 את המאמר "Attention Is All You Need", שהציג ארכיטקטורת רשת עצבית חדשה לעיבוד טקסט, הפך הטרנספורמר למנוע שפועל מתחת למכסה המנוע של כל מודל שפה גדול (LLM) מרכזי בשוק. לדברי ג'סטין דנג'ל (Justin Dangel), מנכ"ל ומייסד שותף בסטארטאפ Subquadratic, התעשייה כולה מושתתת על הארכיטקטורה הזו, שהיא אחת מההמצאות החשובות בתולדות מדעי המחשב. אבל החולשות המבניות של המודלים הללו כבר לא ניתנות להתעלמות.

כשהיתרון הופך לצוואר בקבוק

הבעיה המרכזית טמונה במנגנון שנותן לטרנספורמר את היתרון שלו, שנקרא dense attention. המנגנון מקודד את המשמעות של טקסט באמצעות השוואה של כל מילה (או חלק ממילה, המכונה token) מול כל מילה אחרת באותו טקסט, בתהליך של כפל. רמת הדיוק גבוהה, אבל העלות החישובית צומחת במהירות. מסמך באורך 10,000 מילים דורש מהמודל לבצע כ-50 מיליון פעולות כפל, וזו הסיבה העיקרית לצריכת החשמל האדירה של מודלי ה-LLM.

המחיר הכלכלי של המגבלה הזו מטורף. לדברי נשיא OpenAI, גרג ברוקמן (Greg Brockman), החברה צפויה להוציא השנה 50 מיליארד דולר (כ-185 מיליארד שקל) על משאבי מחשוב. גם הסוכנות הבינלאומית לאנרגיה (IEA) צופה שצריכת החשמל של מרכזי הנתונים תעלה פי שניים עד שנת 2030. חברות שמנסות להריץ מודלים על כמויות גדולות של מידע נתקלות בכך שהטרנספורמרים מתקשים לתחזק חלון הקשר (context window) רחב מספיק, בגלל אופן העיבוד המילה-אחר-מילה שלהם.

פאצ'ים שמסתירים את הבעיה

התפתחויות אחרונות בתחום, כמו מודלי חשיבה (reasoning models) ויכולות עיבוד של כמויות קלט גדולות במקביל, אינן הרחבות טבעיות של טכנולוגיית הליבה. למעשה, מדובר בפאצ'ים שנועדו לעקוף פגמים מבניים. מודלי החשיבה עובדים בשיטה של כתיבת הערות לעצמם במעין פנקס טיוטה (chain of thought) ואז קריאתן בחזרה, מה שמכביד עוד יותר על ניהול הנתונים. ככל שהמודלים גדלים ומשתכללים, הטרנספורמר הופך לצוואר בקבוק, והחוזק המרכזי של הטכנולוגיה הפך למגבלה של ממש.

סטארטאפים מחפשים חלופות

כיום יש גל של סטארטאפים שמנסים לדחוף את הגבולות של הטכנולוגיה ולהציע חלופות. חלקם ייכשלו בוודאות, אבל יש להם הרבה פחות מה להפסיד מאשר לחברות שכבר ניצבות בראש השוק. אחת הגישות הברורות להוזלת והאצת המודלים היא תקיפת הבעיה ישירות באמצעות שינוי אופן הפעולה של מנגנון הקשב. החלפת ה-dense attention במנגנון שנקרא sparse attention, שמריץ חישובים רק על חלק מזוגות המילים בטקסט במקום על כולן, יכולה לקצץ באופן דרסטי את כמות החישובים שהמודל נדרש לבצע. חוקרים פיתחו לא מעט מנגנוני sparse attention לאורך השנים, והשאלה האם הם יחליפו את הטרנספורמרים הקלאסיים נותרה פתוחה.