תכנון שווה יותר מיישום: איך מקצים נכון תקציב חישוב לצוותי סוכנים

חוקרים פיתחו מסגרת שיטתית להקצאת משאבי חישוב בצוותי סוכנים מרובים (multi-agent) למשימות הנדסת תוכנה ארוכות-טווח, והראו שהשלב שבו המנהיג מאציל עבודה קובע את היעילות יותר מגודל הצוות. הניסויים, שבוצעו על בנצ'מרק ProgramBench, מראים שצוות הטרוגני של 17 סוכנים מגיע לביצועים כמעט זהים לצוות הומוגני חזק של 5 סוכנים, ב-70% פחות עלות.

הבעיה: יותר סוכנים לא בהכרח יותר תפוקה

מערכות מרובות-סוכנים מציעות ציר קנה-מידה חדש להסקה: במקום שסוכן יחיד יחשוב יותר זמן או יפיק יותר ניסיונות, המשימה מתפצלת בין סוכנים רבים שעובדים במקביל ומתאמים. בפועל, הוספת סוכנים מייצרת כפילויות, כשלי תיאום ועלויות מנופחות. הצוות, בהובלת קינן סמווי (Keenan Samway), דניאל סוזה (Daniel Souza), עומר דרוויש דומינגז (Omar Darwiche Domingues), מיזים (Mziizm), ייצ'רן טאן (Yichern Tan) ונוהאד זירי (Nouhad Ziri), ניסח את עיצוב הצוות כבעיית הקצאת חישוב: החל מסוכן בודד, לאן לנתב חישוב נוסף כדי להגיע לחזית פארטו של תגמול-עלות.

מתודולוגיה: רתמה מינימלית וחזית פארטו

החוקרים בנו רתמה (harness) מינימלית של צוות מרובה-סוכנים מהיסוד, ומיפו את החזית על ידי שינוי משתנה אחד בכל פעם: השלב שבו המנהיג מאציל לעובדים (תכנון, יישום או אימות), המודלים שמרכיבים את הצוות, ומספר העובדים. על ProgramBench, צוותים עקפו סוכן בודד אבל עלו פי שלושה עד שבעה יותר. הקצאת חישוב נכונה, לעומת זאת, אפשרה לצוות הטרוגני של 17 סוכנים להתקרב ל-1.4 נקודות מצוות הומוגני חזק של 5, ב-70% פחות עלות.

תכנון: ההחזר הכי טוב על ההשקעה

הממצא הראשון: תכנון הוא השימוש היקר ביותר בעובדים. מנהיג שמאציל רק את שלב התכנון לעובדים, ואז מיישם ומאמת את הקוד בעצמו, משיג תגמול זהה למנהיג שמאציל לאורך כל השלבים, תכנון, יישום ואימות, בחצי מהעלות. כשהמנהיג מחליט דינמית כמה עובדים להפעיל, האצלת תכנון בלבד מספיקה כדי למצות את רוב התועלת.

מודלים זולים: טובים לתכנון, גרועים ליישום

הממצא השני מפריד בין תפקידים: מודלים זולים (cheap models) משתלמים כמתכננים אבל לא כמיישמים. מנהיג חזק עם מתכננים זולים משחזר 47.5% מתוספת התגמול של צוות חזק-כולו, תמורת 13.9% בלבד מהעלות הנוספת. לעומת זאת, מיישמים זולים מורידים את התגמול. הא-סימטריה הזו עקבית: מתכננים ממשיכים לשפר תגמול ככל שהצוות גדל, בעוד מיישמים ומאמתים מגיעים לרוויה אחרי ארבעה עובדים.

מדריך לתקציב סוכנים

התוצאות נותנות קווים מנחים מעשיים: בהינתן מגבלות משימה, עלות וזמן-תגובה (latency), כדאי להשקיע את רוב התקציב הנוסף במתכננים, רצוי זולים, ולשמור את היישום והאימות בידי מודל חזק יחיד או צוות קטן. הגישה הופכת את עיצוב הצוות מניחוש מכוון-טוב לבעיית אופטימיזציה עם פתרון מדיד.