סוכן מחקר שלומד מהקוד הפתוח

סוכן המחקר DisCo מצליח לסגור פער ידע מהותי אצל מודלי שפה גדולים: היכולת להפוך ידע תיאורטי לקוד עובד. החוקרים זיהו שכבה חסרה, "ידע תפעולי", שמפרידה בין הכרת שיטה לבין היכולת לממש אותה בפועל. הידע הזה קיים במאגרי גיטהאב ובמאמרים, אבל בפורמט שמיועד לקריאה אנושית וגדול מכדי להיטען בזמן משימה. הפתרון: זיקוק הידע ל"כישורים" (skills) קומפקטיים ומאומתים שאפשר לשלוף בזמן ריצה.

איך עובד המנגנון

DisCo פועל בשני מסלולי זיקוק משלימים. המסלול הראשון, בלתי תלוי משימה, עובר על אלף מאגרי ML נפוצים ומחלץ מהם ספרייה של יותר מחמשת אלפים כישורים מאומתים, מסודרים בעשרים תחומים ומאה שבעים ושמונה משפחות יכולת, זו ספריית AREX-Skill. המסלול השני, מכוון משימה, מייצר בזמן אמת את הכישורים הנדרשים למשימה ספציפית. שני המסלולים רצים מעל אותו שלד: מודל GPT-5.5 כ-backbone, רתמת מחקר (research harness) קבועה, ותקציב הרצה זהה.

המספרים על הבנצ'מרקים

בתצורה הזו, הסוכן המצויד בכישורים משיג תוצאות גבוהות משמעותית מול אותו סוכן בדיוק בלעדיהם. על MLE-bench, בנצ'מרק שבודק יכולת הנדסת ML מקצה לקצה, נרשם שיפור של 134.3%. על PaperBench, שבוחן שחזור מאמרים, הפער עומד על 34.4%. FrontierCS, שמתמקד במשימות מדעי מחשב מתקדמות, מראה עלייה של 9.2%, ו-PassNet, שבוחן העברת ידע בין משימות, משתפר ב-14.0%. כל המספרים הללו מושגים כשהמודל, הרתמה והתקציב נשארים קבועים, ההבדל היחיד הוא הוספת הקשר תפעולי מזוקק.

מה זה אומר בפועל

המשמעות היא שצוואר הבקבוק אצל סוכני מחקר אוטונומיים אינו בהכרח יכולת החשיבה של המודל, אלא הגישה לידע מעשי דחוס. במקום לאלץ את המודל לגלות מחדש טריקים של יישום בכל הרצה, הגדרות היפר-פרמטרים, טריקים של יציבות אימון, מבני נתונים יעילים, המערכת שולפת אותם כספריית רפרנס מוכנה. הגישה מזכירה הבדל בין מהנדס ג'וניור שקרא ספר לימוד לבין ותיק ששלף מהזיכרון את ה-gotchas של הספרייה הספציפית.

כיוון להמשך

העבודה מצביעה על כיוון שבו אוטומציה של מחקר ML לא מסתמכת רק על מודל גדול יותר, אלא על תשתית ידע מובנית שנבנית מהאקוסיסטם הפתוח. ספריית AREX-Skill זמינה לשימוש, והמתודולוגיה הדו-מסלולית מאפשרת להרחיב אותה לכל תחום חדש בלי לאמן מחדש את המודל. השאלה הפתוחה היא עד כמה הגישה מתרחבת כשהמשימות יוצאות מגבולות הקוד הפתוח המוכר, אבל כנקודת מוצא, הפער בין "יודע את השיטה" ל"מצליח להריץ אותה" הצטמצם דרמטית.