סרוויס נאו מציגה פייפליין אוטומטי לייצור דאטה אימון לאג'נטים ארגוניים

סרוויס נאו (ServiceNow) משיקה את AutoSynthData, מערכת שהופכת כשלונות של מודל מטרה והצלחות של מודל "מורה" חזק יותר לתוכנית לימודים דינמית, שמייצרת ומאמתת משימות אימון חדשות בסביבה הארגונית עצמה. הפייפליין הודגם על EnterpriseOps Gym, בנצ'מרק ודאטהסט שפורסמו השנה על ידי מאלאיי (Malay) ועמיתיו, והוא נועד לפתור את הצוואר בקבוק העיקרי של אג'נטים בפרודקשן: הפער בין יכולות כלליות לביצוע בסביבה ספציפית על כלליה, הכלים שלה ומצב הדאטה שלה.

מה הבעיה שפותרים

אג'נט ארגוני פועל בתוך סביבה מוגדרת, סטייט שניתן לצפות ולשנות, טולים ו-APIs שניתן להפעיל, ומעברי סטייט שנובעים מפעולות. מודל יכול להיות חזק בבנצ'מרקים כלליים ועדיין להיכשל בוורקפלואו מסוים, בשילוב טולים ספציפי, או באילוץ מדיניות שהארגון מכתיב. הבעיה אינה זיהוי הכשלון הבודד, אלא הפיכתו למאות משימות אימון מגוונות שמתרגלות את אותה יכולת בהקשרים שונים, כשכל משימה חייבת להיות ברת-ביצוע בסביבה, ריאליסטית למה שמשתמש באמת היה מבקש, ובעלת דרך אמינה לוודא הצלחה.

איך AutoSynthData עובד

המערכת מקבלת מודל מטרה ומודל מורה, מריצה אותם בסביבה, ומזהה את הפערים, מה שהמטרה נכשלת בו והמורה מצליח. מתוך הפערים האלה היא מייצרת משימות חדשות שכוללות שלושה רכיבים: סיסטם ספציפיקיישן (הוראות מערכת, פוליסות, אתחול מצב כמו דאטה בייס מסוים או מאמרים), יוזר פרומפט (מה המשתמש מבקש), ו-וריפייר (מנגנון בדיקה). ככל שהמודל משתפר, הקוריקולום זז אוטומטית לעבר מה שעדיין קשה לו, בלי התערבות ידנית.

מבנה משימה ומאמת, התנאים ההכרחיים

כל משימה נדרשת לעמוד בשלושה תנאים: פייזביליטי, קיים לפחות מסלול פעולה תקין בסביבה הנוכחית שמקיים את הבקשה והאילוצים; ריאליזם, הפרומפט דומה למה שמשתמש אמיתי היה שואל, לא המצאה מלאכותית; דיפיקולטי, המשימה חושפת חולשה נוכחית של המודל, כי משימות פתורות לא נותנות סיגנל אימון. הווריפייר נמדד בשלושה צירים משלו: קונסיסטנסי, התאמה לפרומפט, לספק ולסטייט; סאונדנס, דחיית מסלולים שנכשלים או מפרים אילוצים; קומפלטנס, קבלת פתרונות תקינים גם אם הם שונים ממסלול ייחוס יחיד. וריפייר מקל מדי מתגמל התנהגות שגויה; מחמיר מדי מעניש פתרונות לגיטימיים.

מה זה אומר בפועל

המשמעות היא שארגונים יכולים להפסיק לכתוב ידנית קייסי אימון לכל וורקפלואו שבור, ולתת לפייפליין לסגור את הלולאה: זיהוי חולשה ייצור משימות ממוקדות אימון מדידה מחדש. הקוד והדאטהסט של EnterpriseOps Gym זמינים פומבית, כך שקבוצות מחקר והנדסה יכולות להריץ את הפייפליין על הסביבות שלהן, להחליף את מודל המורה או את הווריפייר, ולמדוד אם הקוריקולום האוטומטי אכן מקצר את הזמן לאג'נט אופרציונלי בסביבה ספציפית.