ארנה מציגה: מדידת יכולות סוכנים דרך עקיבה סיבתית

ארנה (Arena.ai) הכריזה על "Agent Arena", מתודולוגיה חדשה להערכת יכולות של סוכני AI שמחליפה את ההצבעה הזוגית (pairwise preference voting) בעקיבה סיבתית (causal tracing). לפי הפרסום, המערכת מודדת חמישה אותות מתוך סשנים אמיתיים, ארוכי-טווח (long-horizon), של פעילות סוכנית.

למה ההצבעה הזוגית לא מספיקה

הבעיה בהצבעה זוגית פשוטה: היא מתגמלת את הסוכן שנשמע בטוח בדקה הראשונה. תגובה של משתמש בשרשור המחישה את הנקודה, בסשנים ארוכים הבעיה האמיתית צצה בשעה השנייה, כשהסוכן מוחק בשקט את התיקייה הלא נכונה. עקיבה סיבתית אמורה לתפוס את סוג הכשלים האלה, שמתגלים רק לאורך זמן ובקונטקסט רחב.

חמישה אותות, אבל איזה?

ההודעה מציינת חמישה אותות נמדדים, אך לא מפרטת מה הם. גם לא פורסמו מדדי ביצועים (benchmarks), בסיסי השוואה, או תאריך זמינות. התגובה בשרשור שאלה איזה מהאותות משנה את הדירוגים הכי הרבה, שאלה שנותרה פתוחה. בלי פירוט האותות ובלי נתונים השוואתיים, קשה להעריך אם המתודולוגיה אכן פותרת את בעיית ההערכה קצרת-הטווח או רק מוסיפה שכבת מורכבות.