חוקרים מציגים את AGENTSCOPE: גישה נוירו-סימבולית לאבחון כשלי סוכני LLM

התפוצה המהירה של סוכנים מבוססי LLM יצרה בעיה חדשה: כשהסוכן נכשל, המסלול שהוא משאיר אחריו ארוך, מורכב וקשה לפענוח ידני. מאמר חדש שפורסם ב-arXiv מציע את AGENTSCOPE, מתודולוגיה נוירו-סימבולית שהופכת את ההתנהגות של הסוכן לייצוגים מובנים ומאתרת את הצעד המדויק שבו התרחש הכשל, ואת סוגו.

הבעיה: מסלולים ארוכים, כלים ישנים לא עובדים

סוכני LLM פועלים בצעדים מרובים, קריאה לכלים, תכנון, חשיבה, תיקון עצמי, וכל ריצה מייצרת מסלול (trajectory) שיכול להגיע לאלפי טוקנים. גישות דיבוג קלאסיות לקוד דטרמיניסטי לא יודעות להתמודד עם אי-הוודאות והגמישות של מודלי שפה, בעוד שהסתמכות מלאה על LLM כשופט (LLM-as-a-judge) מניבה תוצאות לא עקביות וקשה לסמוך עליהן בפרודקשן. החוקרים מציינים שהפער הזה מונע אימוץ רחב של סוכנים במשימות קריטיות.

הפתרון: הפשטה התנהגותית ואינווריאנטים נוירליים

העיקרון המרכזי של AGENTSCOPE הוא הפשטה (abstraction) של התנהגות הסוכן למבנים נתונים מובנים, לא טקסט גולמי. על גבי הייצוג הזה מוגדרים "אינווריאנטים נוירליים" (neural invariants): תכונות התנהגות שאמורות להישמר לאורך הריצה, למשל עקביות בין תכנון לביצוע או תקינות קריאות לכלים. מנוע חשיבה מונחה-LLM סורק את הייצוג המובנה מול האינווריאנטים ומזהה חריגות, צעד הכשל וסיווגו.

הערכה: שני בנצ'מרקים, תוצאות מעל SOTA

השיטה נבדקה על שני בנצ'מרקים פומביים לזיהוי כשלי סוכנים (Who&When) ועל סט נתונים חדש שהחוקרים בנו ושיחררו, AgentErrata, שמכסה מגוון רחב יותר של תרחישי כשל. בשני המקרים AGENTSCOPE השיג דיוק גבוה משמעותית מהמתחרים הן באיתור מיקום הכשל (fault localization) והן בייחוס סוג הכשל (attribution accuracy). המספרים המלאים מופיעים במאמר; החוקרים מדגישים שהיתרון נובע מהשילוב בין מבנה סימבולי לחשיבה מונחית-LLM, ולא מאף רכיב בנפרד.

מגבלות ומעמד המאמר

חשוב לציין: המאמר מופיע כפרה-פרינט ב-arXiv ולא עבר עדיין ביקורת עמיתים פורמלית. הקוד והנתונים (כולל AgentErrata) זמינים לציבור, מה שמאפשר שחזור ובדיקה עצמאית, צעד מבורך בתחום שנוטה לפרסם תוצאות בלי לשחרר ארטיפקטים. הגישה הנוירו-סימבולית כאן אינה "קוד פתוח" במובן הרישיון אלא משקלים ונתונים פתוחים לשימוש מחקרי; ההבדל רלוונטי למי שרוצה להטמיע בפרודקשן.

מה זה אומר הלאה

העבודה מדגימה שאפשר לקבל אבחון אמין וניתן להסברה (interpretable) בלי לוותר על הגמישות של סוכני LLM. אם התוצאות יחזיקו בבדיקות חיצוניות ובקנה מידה גדול יותר, AGENTSCOPE עשוי להפוך לכלי סטנדרטי בצנרת הפיתוח של סוכנים, מקבילה של דיבאגר לסביבה לא-דטרמיניסטית. בינתיים, שווה לעקוב אחרי אימוץ הקהילה והרחבת AgentErrata לתחומים נוספים.