מאמר של סטנפורד ו-Together AI מראה שסוכנים היברידיים חותכים 62.5% עד 72.9% מעלויות הדיקודינג

ועדיין מנצחים בבנצ'מרק ## חשיבה בלאטנט, דיבור בכלים

הנחת היסוד של סוכני LLM היום פשוטה: המודל חייב לכתוב כל צעד חשיבה כטוקנים גלויים לפני שהוא קורא לכלי, מריץ קוד או פועל בעולם. המאמר החדש של סטנפורד ו-Together AI שובר את ההנחה הזו. HybridAgent מוסיף אדפטר קטן שמחזיר את המצב הפנימי של המודל (hidden states) כקלט הבא, כך שהחשיבה השגרתית מתרחשת במרחב הווקטורים החבויים, בלי לכתוב מילה. רק בקריאות כלים ובהחלטות מפתח הסוכן עובר לטקסט, וגם את הצעדים השקטים אפשר לפענח בדיעבד לקריאה אנושית.

המספרים על GAIA

על בנצ'מרק GAIA, גרסת ה-14B של HybridAgent השיגה 52.4 נקודות, לעומת 43.7 לאותו מודל שאומן כסוכן טקסט-בלבד עם ARPO. במקביל, זמן הריצה היה מהיר פי 2.1 מסוכני טקסט מקבילים. החיסכון בדיקודינג, 62.5% עד 72.9%, מגיע ישירות מהוויתור על טוקנים מיותרים: במקום לפרוס שרשרת חשיבה שלמה בכתב, המודל "מהרהר בשקט" ומדבר רק כשצריך.

איך זה עובד מתחת למכסה

האדפטר לומד למפות את ה-hidden states חזרה למרחב הקלט של המודל, בלי לשנות את המשקלים המקוריים. זה מאפשר אימון יעיל (parameter-efficient) ושמירה על יכולות הכלים הקיימות. כשהסוכן צריך לקרוא ל-API, להריץ פייתון או להציג תשובה למשתמש, הוא עובר לייצוג טקסטואלי מלא. הצעדים הפנימיים נשארים ניתנים לפענוח (decodable) לצרכי דיבוג ואמון, אבל לא נוצרים כטוקנים בזמן אמת.

מה זה משנה בפרודקשן

למי שמריץ סוכנים בסקייל, המשמעות ברורה: פחות טוקנים = פחות לאטנסי, פחות עלות GPU, יותר תפוקה. הגישה לא מחליפה חשיבה טקסטואלית, היא שומרת אותה למקומות שבהם בני אדם או כלים חיצוניים חייבים לקרוא אותה. החשיבה השוטפת, החזרתית, ה"בירוקרטית" של הסוכן נשארת בלאטנט. זו ארכיטקטורה שמתאימה יותר לאיך שמודלים באמת עובדים, ופחות לאיך שאנחנו מדמיינים שהם צריכים לעבוד.