NVIDIA מציגה את Agora: זיכרון משותף לסוכני מחקר שמתאמים את עצמם

הארכיטקטורה מאחורי התיאום

החוקרים של NVIDIA פרסמו פרה-פרינט ב-ArXiv שמתאר את Agora, מערכת זיכרון משותף שמאפשרת לסוכני קוד (coding agents) לעבוד יחד על אותה בעיית מחקר בלי לחזור על ניסויים שכבר בוצעו. כל תוצאה, השערה ואימות נרשמים כקומיט Git בלתי ניתן לשינוי (immutable), כשקצוות הורה (parent edges) מצביעים על מה כל טענה מסתמכת, ואינדקס מרכזי עוקב אחרי ענפים פתוחים ואילו טענות כבר אומתו. לדברי מחברי המאמר, המבנה הזה מייתר את הצורך במתכנן מרכזי (central planner) או בחלוקת משימות מוגדרת מראש.

הניסוי: 13 סוכצים, 12 ימים, בלי הנחיות

בניסוי המרכזי הריצו החוקרים 13 עובדי LLM במשך כמעט 12 ימים רצופים ללא משימות מוקצות וללא מתכנן מרכזי. המשימה: לאתחל מודל היברידי של 119.6 מיליון פרמטרים מתוך 141 מודלים תורמים (donor models), בלי דאטת אימון ובלי עדכוני גרדיאנט. הסוכנים היו צריכים לגלות בעצמם איך לשלב את המשקלים, לאמת את התוצאות ולתעד הכל ב-Agora. במהלך התקופה נרשמו 1,703 תרומות (contributions) מצד הסוכנים השונים.

תוצאות הבנצ'מרק והשחזור

המדד המרכזי היה ביטים לבייט (bits per byte) של המעריך (evaluator): הערך ירד מ-3.39 ל-1.899, מה שסוגר 62% מהפער מול GPT-2 מאומן בגודל 124 מיליון פרמטרים. חשוב לא פחות, כל 165 השחזורים העצמאיים (independent reproductions) הצליחו, מה שמצביע על יציבות התהליך ועל כך שמנגנון התיעוד ב-Git אכן מאפשר וריפיקציה מלאה. המאמר מדגיש שהשיפור הושג בלי אימון מחדש, רק באמצעות הרכבה ואימות שיתופיים.

מגבלות ומה שחסר בתמונה

כפרה-פרינט שטרם עבר שיפוט עמיתים, התוצאות דורשות אימות חיצוני. המאמר לא מפרט את עלות החישוב הכוללת של 13 סוכנים ל-12 יום, ולא משווה לגישות הרכבה קיימות כמו model merging או evolutionary search עם מתכנן מרכזי. גם לא ברור עד כמה המתודולוגיה מתרחבת למשימות מחקר כלליות יותר מאשר אתחול מודל היברידי ספציפי. הקוד והנתונים זמינים לשיחה אינטראקטיבית ב-academy.dair.ai/papers/agora-g…