OpenAI חושפת ביצועי GPT-Live-1 בבנצ'מרקים לסוכני קול

מה שפורסם ומה שחסר

חשבון המפתחים של OpenAI ב-X פרסם סדרת ציוצים החוזרת על אותה שאלה שלוש פעמים: איך GPT-Live-1 מתפקד בבנצ'מרקים שחשובים לסוכני קול בייצור. הפוסט מצהיר שהבדיקה התמקדה בארבעה תחומים, השלמת משימות, שיחה דו-כיוונית ומעבר תורות, מהירות תגובה, ושימוש בכלים, אבל בפועל מספק נתון יחיד: תוצאה על מבחן Tau3. שאר המדדים שהחברה עצמה הגדירה כרלוונטיים לא מופיעים בפרסום, והטקסט נקטע באמצע משפט השוואה.

מבחן Tau3 ומה שהוא בודק

Tau3 בודק האם סוכן קול מסוגל להשלים משימות תמיכת לקוחות אמיתיות בשלושה תרחישים: תעופה, קמעונאות ותקשורת. זה לא מבחן שפה כללי אלא סימולציה של זרימת עבודה מלאה, זיהוי כוונה, שליפת מידע, הפעלת כלים, וסגירת פנייה. לפי הפרסום, GPT-Live-1 צוּות למודל החשיבה GPT-6 Astra ברמת מאמץ בינונית (medium reasoning effort), והצמד השלים 83.6% מהמשימות כבר בניסיון ראשון.

מה המשמעות של 83.6% בניסיון ראשון

שיעור הצלחה של 83.6% בפעם הראשונה מצביע על יכולת משמעותית לטפל בפניות בלי להסלים לנציג אנושי או לדרוש מהלקוח לחזור על עצמו. עם זאת, הפרסום לא מספק בסיס השוואה, לא מול גרסאות קודמות של המודל, לא מול מתחרים, ולא מול סף שהחברה עצמה מגדירה כ"מוכן לייצור". בלי ההקשר הזה, המספר נשאר נקודת נתון בודדת שקשה לפרש.

הבנצ'מרקים שנעלמו

שלושת התחומים הנוספים שהפוסט מצהיר עליהם, ניהול שיחה טבעית, זמני תגובה, והפעלת כלים, לא מלווים באף מספר. לא פורסמו מדדי השהיה (latency), לא אחוזי הצלחה במעבר תורות (turn-taking), ולא הצלחה בקריאות פונקציות (function calling). העובדה שהחברה מנתה אותם כמוקד הבדיקה ואז לא סיפקה תוצאות משאירה פער שכל מפתח שבונה על הפלטפורמה יצטרך למלא בבדיקות עצמאיות.

פרסום חלקי באמצע המשפט

הציוץ מסתיים במילה "compared" בלי להשלים את ההשוואה, מול מה? מול GPT-4o? מול מודל פתוח? מול בסיס אנושי? החיתוך הזה, יחד עם החזרה המשולשת על אותו מבוא, נראה כמו טיוטה שפורסמה בטעות או תהליך שיווקי שלא הושלם. עד ש-OpenAI תשלים את הנתונים, מפתחים צריכים להתייחס ל-83.6% כאינדיקציה ראשונית בלבד, לא כמפרט מחייב.