גיט כזיכרון משותף לסוכני מחקר אוטונומיים

חוקרים הציגו את Agora, מערכת שהופכת את Git למבנה זיכרון משותף עבור לולאות מחקר אוטונומיות. הבעיה שמנסים לפתור מוכרת: כשמריצים כמה סוכני קוד במקביל, כל אחד מתחיל מאפס ומבזבז מחזורי חישוב על חיפושים כפולים במקום לגלות כיוונים חדשים. Agora פותר את זה באמצעות גרף מכוון ואציקלי (DAG) שנשמר כקומיטים ב-Git, כל טענה, תובנה, השערה, אימות או דוח הופך לקומיט בלתי ניתן לשינוי שהורה שלו מצביע על מה הוא מסתמך. אינדקס נגזר חושף את החזית הפעילה, את הענפים שנזנחו ואת סטטוס האימות של כל טענה, וכלל בחירה מודע־גיוון מונע קריסה למנהיג יחיד.

איך זה עובד מתחת למכסה המנוע

המנגנון פשוט לכאורה: כל תרומה נרשמת כקומיט עם קישורי הורה מפורשים, כך שכל חוקר, אנושי או מודל, יכול לעשות checkout לכל שלב ולהריץ אותו מחדש. האינדקס הנגזר לא רק מקטלג; הוא מציף את הגבול שבו יש עדיין מה לגלות, מסמן ענפים שלא קיבלו תשומת לב, ומתעד אילו טענות אומתו ואילו עדיין ממתינות. כלל הבחירה המודע־גיוון דואג שהקהילה לא תתכנס מוקדם מדי על כיוון בודד, תופעה שמכונה במאמר "מונוקולטורה".

הניסוי הממושך הראשון: 12 ימים, 13 עובדים, בלי מתכנן מרכזי

ההרצה המתועדת הראשונה נמשכה כמעט 12 ימים ובה השתתפו 13 עובדי מודל־שפה ללא משימות מוקצות וללא מתכנן מרכזי. המשימה: בעיית העברת משקולות (weight transfer), אתחול מודל יעד קפוא של 119.6 מיליון פרמטרים (היברידי Attention-SSM) שמידותיו אינן תואמות אף אחד מ-141 מודלי התורם שאומנו מראש, וללא נתוני אימון או עדכוני גרדיאנט. התוצאה: 1,703 תרומות שפורסמו, והמעריך (evaluator) ירד מ-3.39 ל-1.899 ביטים לבית, סגירה של 62% מהפער למודל GPT-2 124M מאומן.

המתכון המנצח ושושלת הקומיטים

הפתרון שהוביל לשיפור דוחס את סטטיסטיקת הטוקן־הבא של התורמים אל שכבת ההטמעה וראש הפלט של היעד, ומוסיף אות הקשר לטווח קצר דרך עריכות דלילות בבלוקי הקשב, ההזנה־קדימה והמרחב־מצב. שושלת הקומיטים של הפתרון משתרעת על 145 קומיטים וכוללת 15 חשבונות שונים, עדות לתהליך מבוזר באמת. 165 שחזורים עצמאיים פורסמו, ואף אחד מהם לא נכשל, מה שמחזק את הטענה ליציבות התהליך.

התערבות אנושית בודדת ומה שהעקבה לא מוכיחה

בנקודת אמצע של ההרצה נדרשה התערבות אנושית יחידה כדי להוציא את הקהילה ממונוקולטורה שנוצרה ספונטנית, פרט שהמחברים מדגישים במפורש. המאמר גם מציין בזהירות מה העקבה (trace) כן ומה לא מוכיחה, וקורא להשוואה מבוקרת שתקבע האם מצב מחקר משותף אכן משפר גילוי ליחידת חישוב. עד אז, Agora נשארת הדגמה מרשימה של הנדסת תשתית, לא הוכחה סטטיסטית ליתרון שיטתי.