איזון מושלם בין קשריות לסדרות במערכת Kunlun

המאמר של Meta מדגיש את הקושי במידול מערכות המלצה גדולות, שבהן תכונות הקשר – כגון מידע דמוגרפי של המשתמש או מטא‑נתוני המסמך – משולבות יחד עם תכונות סדרתיות המתארות את התנהגות המשתמש. ויתור על תכונות הקשר פוגע במטריקות העסקיות המרכזיות, ולכן נדרש ארכיטקטורה שמצליחה להקצות משאבים לשני הסוגים ביעילות.

צווארי בקבוק עיקריים

שני צווארי בקבוק בולטים נחשפים: ראשית, מודלים קיימים מנצלים רק 3‑15 % משקלי חישוב של GPU (Model FLOPs Utilization), בניגוד ל‑40‑60 % שמגיעים למודלים של שפה רחבה; שנית, העלאת משאבים באופן אחיד לכל חלקי המודל אינה יעילה, והפתרון הוא לחזק רק מודולים ספציפיים.

גישת Co‑design וטכנולוגיות

הצוות מציע גישה משותפת של עיצוב (co‑design) שמשלבת אופטימיזציות ברמת ה‑GPU עם ניהול משאבים ברמת המערכת, ומיישמת זאת במודל Kunlun שמטפל גם בתכונות הקשריות וגם בסדרות. שלוש טכנולוגיות מהוות את הבסיס: Wukong מאפשר אינטראקציות מסדר גבוה בין תכונות הקשר אך אינו תומך בסדרות; HSTU מתמחה בטיפול בסדרות אך כמעט ולא מתמודד עם הקשר; Interformer ניסה לשלב את השניים אך הוכיח חוסר יעילות על GPU. Kunlun מצליחה לשבור את המגבלה, ומגיעה לשיעור ניצול של בלוק GPU של 40‑60 % – ערך שמקביל ל‑3‑5 פעמים את הביצועים של המודלים הקודמים. מספר אחד יעילות.