כלי אוטומטי משחזר באגי רתמה בסוכנים ובונה בנצ'מרק חי של 200 מקרים

השיטה: אוטומציה במקום עבודת יד

חוקרים הציגו ב-arXiv את AgentBug-Smith, גישה אוטומטית לגילוי ושחזור של באגי רתמה (harness bugs) במערכות סוכניות (agentic systems) בקוד פתוח. בניגוד לבנצ'מרקים קיימים שמכילים מספר קטן וקבוע של באגים ודורשים מאות שעות אדם לבנייה, הכלי החדש פועל ברציפות מול מאגרים חיים. באגי רתמה מאופיינים בכך שהם נוגעים לתשתית ההרצה והבדיקה של הסוכן עצמו, לא ללוגיקה העסקית, ולכן הם קשים במיוחד לתיקון על ידי סוכני תוכנה מתקדמים (SOTA).

תוצאות שחזור: פער דו-ספרתי מול כלים כלליים

בניסויים על פני כמה מודלי שפה מרכזיים (backbone LLMs), AgentBug-Smith השיג שיעורי הצלחה גבוהים ב-10.67% עד 27.56% בהשוואה לטכניקות שחזור באגים כלליות שתוכננו לתוכנה רגילה. הפער מלמד שהמאפיינים הייחודיים של באגי רתמה, תלויות סביבה, מצב הרצה לא דטרמיניסטי וממשקים פנימיים שבירים, דורשים מתודולוגיה ייעודית, וכלים גנריים פשוט לא סוגרים את הפינה.

בנצ'מרק חי: 200 באגים ברי-שחזור ומתעדכנים

באמצעות הכלי נבנה Live-Harness-Bench, בנצ'מרק חי וניתן להרחבה שכולל נכון לעכשיו 200 באגי רתמה משוחזרים במלואם. היתרון המרכזי אינו רק בכמות אלא בדינמיות: כל כשלון חדש של סוכן בקוד פתוח יכול להפוך אוטומטית למופע הערכה ביצועי, בלי להמתין לצוות אנושי שיאפיין, יבודד ויתעד את הבאג ידנית.

הערכה וזיקוק ידע: סוכנים נכשלים, אבל לומדים

החוקרים הדגימו שני שימושים במורד הזרם. ראשית, הבנצ'מרק שימש להערכה שיטתית של סוכני תוכנה מובילים, שחשפה יכולות מוגבלות בתיקון באגי רתמה אמיתיים. שנית, מאגר התיקונים שימש כבסיס ידע שממנו זוקקו מיומנויות תיקון לשימוש חוזר; שילוב המיומנויות האלה בסוכנים קיימים העלה את שיעור התיקון של באגי רתמה ב-6.32%. המספר צנוע, אבל הוא מוכיח שלולאת משוב אוטומטית, כשלון שחזור תיקון זיקוק שיפור, ניתנת למימוש.

כיוון: סוכנים שמשפרים את עצמם רקורסיבית

העבודה, שטרם עברה שיפוט עמיתים (פרה-פרינט), ממסגרת את התשתית הכפולה, כלי שחזור ובנצ'מרק חי, כבסיס להערכה ושיפור מתמשכים של סוכנים על משימת תיקון באגי רתמה. המטרה המוצהרת היא לאפשר סוכנים שמשפרים את עצמם רקורסיבית (recursively self-improving agents) על ידי הפיכת כשלונות בעולם האמיתי לידע בר-שימוש. בינתיים, הקוד והנתונים זמינים לציבור, והבנצ'מרק פתוח להרחבה קהילתית.