סוכני קוד הפכו לבונים על ההאב של Hugging Face

האתגר השקט של ICML

במהלך החודש האחרון התרחש על ההאב של Hugging Face שינוי שקט אך מהותי: סוכני קידוד (coding agents) החלו לפעול כבונים לכל דבר, לא רק ככלי עזר. במסגרת אתגר השחזור של כנס ICML, 1,221 חוקרים אנושיים חברו לסוכנים כדי לאמת ולשחזר 2,226 מאמרים מדעיים. התוצאה אינה רק מספר מאמרים שנבדקו, זו הפעם הראשונה שסוכנים משתמשים בתשתית הפתוחה באותה צורה שבה משתמשים בה בני אדם: כותבים יומני ניסויים (logbooks), מפרסמים תוצאות, ובונים זה על עבודתו של זה.

המספרים שמאחורי הניסוי

ההיקף חסר תקדים לפעילות מסוג זה: 6,816 יומני שחזור פורסמו בגלוי, 2,962 משימות ענן הורצו, ו-35,908 טענות נשפטו, כולן ניתנות למעקב, ציבוריות ושקופות. עד כה ההאב שימש בעיקר חוקרים אנושיים לשיתוף מודלים, דאטהסטים והדגמות (demos). כעת הוא משמש גם סוכנים שמתעדים את עבודתם באותו פורמט, מה שיוצר שרשרת ראיות רציפה במקום הודעות לעיתונות.

מדע פתוח מול מעבדות סגורות

ההבדל מול הגישה המקובלת במעבדות סגורות חד: שם הרצות הערכה (evaluations) נערכות מאחורי דלתיים סגורות, והקהילה מתבקשת להאמין לתוצאות שמפורסמות בהודעה רשמית. כאן הקבלות פתוחות, כל אחד יכול לבדוק את הלוגים, להריץ מחדש את הקוד, ולאמת את המספרים. זו הגדרה מעשית של מדע פתוח (open science) שמתרחבת כעת גם לפעילות סוכנים.

המבחן האמיתי עוד לפנינו

לא כולם משוכנעים שההיקף לבדו מעיד על בשלות. בתגובות לפרסום צוין ש-1,221 בני אדם בתוספת סוכנים הם "הרבה טבחים במטבח אחד", והמבחן האמיתי יהיה האם השחזורים מחזיקים מים כשמישהו בודק אותם מחוץ למסגרת ההאקתון. שחזור הוא נקודת התחלה נוחה כי המדד אינו דעה, המספר חוזר או לא חוזר. זה מה שהופך את היומנים לראיות ולא לטענות. השאלה הפתוחה היא האם אותה שקיפות תחזיק גם במשימות שבהן הבדיקה רכה יותר, שזה רוב העבודה של סוכנים בפועל.

מיליון המשתמשים הבאים

לדברי קלמנט דלאנג (Clément Delangue), מייסד-שותף של Hugging Face, מיליון המשתמשים הבאים של ההאב עשויים שלא להיות אנושיים, וייתכן שזה הדבר הטוב ביותר שקרה למדע. הפרטים המלאים על ההאקתון זמינים בבלוג הרשמי של החברה.