הסדקים בבנצ'מרקים של סוכנים נחשפים ב-ICML 2026

מושב ה-Oral של ICML 2026 סיפק שלוש עבודות שמצביעות על אותה בעיה מכיוונים שונים: הדרך שבה אנחנו בודקים סוכנים עדיין לא תופסת את מה שחשוב. יורי ירוביקוב, שסיכם את המושב בערוץ "דחוס NLP", מציג תמונה שבה מודלי חזית מוחצים בנצ'מרקים חדשים ב-100% הצלחה, אבל אף אחד לא יודע אם השאלות בכלל קשות; מיד-טריינינג על עקבות מושלמים מביא SOTA ב-SWE-Bench Verified אבל עולה 70 מיליארד טוקנים; וסוכני חיפוש במסמכים נתקעים בתקרת 82% איכות בזמן שהם שורפים פי 20 תקציב מבני אדם.

בנצ'מרק אליס-בוב: השופטת קלה מדי, הנאשם חזק מדי

העבודה "Benchmarking at the Edge of Comprehension" מציעה פרוטוקול דו-מודלי: אליס מייצרת שאלה ותשובה, בוב מאמת, ואז בוב עונה ואליס מבקרת. טעויות עולות לשופטי מודל ואז למתייגים אנושיים. החוקרים טוענים ש-GPT-3.5 מספיק טוב כשופטת, התשובות שלה מתואמות גבוה עם אנשים, אבל לא בדקו אם השאלות ש-GPT-3.5 מייצרת מאתגרות מלכתחילה. התוצאה: GPT-5.2 מנצח 100% מהמקרים מול כל המודלים פרט לאחד. המסקנה הישירה: אליס נכשלה כמייצרת בעיות, והבנצ'מרק רווי. מגבלה נוספת שהמחברים מודים בה: אין הערכה של דיאלוגים שלמים, רק סיבוב בודד.

דה-וינצ'י-דב: מיד-טריינינג לפני SFT עובד, אבל יקר

הפייפליין הסטנדרטי לסוכני קוד הוא בסיס SFT RL (למשל GRPO). חוקרי DaVinci-Dev הוסיפו שלב מיד-טריינינג לפני ה-SFT: אימון Next Token Prediction על עקבות סוכן מושלמים. זה הספיק ל-SOTA בקרב מודלים פתוחים ב-SWE-Bench Verified. הם מדווחים על "פחות משמעותית מחשוב מה-SOTA הקודמת", אבל המספר המוחלט עדיין כבד: כ-70 מיליארד טוקנים על מודלי 32 B ו-72 B פרמטרים. זה לא מהפך יעילות, זה אישור שעקבות איכותיות קונות ביצועים, אם יש לך את התקציב.

חיפוש במסמכים: תקרת 82%, פער עלויות של פי 20

הבנצ'מרק השלישי בודק יעילות סוכנים בחיפוש באוספי מסמכים גדולים. התוצאה הטובה ביותר מגיעה ל-82% איכות בלבד. הפתעה גדולה יותר: פייפליינים ללא מגבלות הוציאו 850 דולר למשימה מול כ-40 דולר לפייפליינים עם מגבלות סבירות, והניבו תוצאות חלשות יותר. אפילו הפייפליינים הטובים ביותר דרשו פי 5 פעולות מבני אדם עם אותם כללים. דפוסי השגיאה שונים מהותית: אנשים ממהרים להחלטות שגויות, מודלים "חופרים" במקומות שאין בהם צורך. שניהם מגיעים לכ-80% איכות, אבל הדרך לשם הפוכה.

מה זה אומר הלאה

שלוש העבודות יחד מציירות תמונה ברורה: הבנצ'מרקים הנוכחיים לא מודדים יכולת סוכנית אמיתית אלא התאמה לתבניות מוכרות; מיד-טריינינג על נתונים סינתטיים איכותיים עובד אבל לא פותר את בעיית העלות; ופערי היעילות מול בני אדם נשארים עצומים, גם בכסף, גם בצעדים, וגם באסטרטגיה. עד שמישהו יבנה בנצ'מרק ש-GPT-5.2 לא פותר ב-100%, אנחנו מודדים בעיקר את הקושי של השאלות, לא את התבונה של המודלים.