בנצ'מרק חדש חושף: סוכני קוד נכשלים בבניית סוכנים אחרים

חוקרים פרסמו בנצ'מרק חדש בשם AgentSWE שבוחן האם סוכני קוד (coding agents) מסוגלים לבנות, לערוך ולבצע אופטימיזציה לסוכנים אחרים. התוצאות לא מעודדות: המערכות הקיימות רחוקות מלספק את הסחורה.

מה המספרים מראים

הבנצ'מרק מקיף 25 משימות בשלוש קטגוריות, יצירה, עריכה ואופטימיזציה. בקטגוריית היצירה, 50 הרצות הניבו ממוצע של 11.2 נקודות מתוך 100, כש-20 מתוכן קיבלו ציון אפס מוחלט. הפער בין הציון הממוצע לציון המקסימלי מצביע על כך שהסוכנים הנוכחיים מתקשים אפילו להתחיל משימות של בניית סוכנים אחרים; ציון של 11.2 מתוך 100 אינו כישלון חלקי, הוא כשל מערכתי.

בעיה בעיצוב ההערכה

אחד המגיבים הציע להפריד בדיווח בין כשלים של "שער תוקף" (validity-gate), מקרים שבהם הפתרון כלל לא עולה לאוויר, לבין ציוני איכות משימה נמוכים. לטענתו, משלוח שלא מופעל ומשלוח שרץ אך מחמיץ את הדרישה דורשים תיקונים שונים בתכלית, גם אם שניהם תורמים אפס לממוצע הכולל.

למה זה משנה

ההבחנה הזו נוגעת לעיצוב הערכה (evaluation design) רחב יותר: ממוצע יחיד מסתיר סוגי כשל שונים בתכלית. בלי פירוק כזה, מפתחים מקבלים תמונה מטעה לגבי היכן בדיוק המערכת נתקעת, האם בבעיות הרצה בסיסיות או במימוש הדרישות עצמן.