שתי הגדרות API שילשו את התוצאה של GPT-5.6

הבעיה לא במודל

כש-GPT-5.6 Sol יצאה, המספרים על ARC-AGI-3 נראו חשודים: 7.8% בלבד. זה מוזר למודל שיודעת לסיים את Pokémon FireRed ולפתור השערות מתמטיות מורכבות כמו השערת הכיסוי הכפול של מעגלים. הצוות של OpenAI החליט לבדוק מה קורה מתחת למכסה מנוע, וגילה שהבעיה לא ביכולות, אלא בדרך שבה הבנצ'מרק מריץ את המודל. על הפנים.

ה"רתמה" שוברת את הריזונינג

ARC-AGI-3 בנוי לאג'נטים, אז צריך רתמה (harness), אותה עטיפה שקובעת מה המודל רואה בכל צעד, איך נקראים הכלים ומה קורה עם הקונטקסט. הבנצ'מרק משתמש ברתמה אוניברסלית ופשוטה בכוונה, כדי להשוות תפוחים לתפוחים. רק שאצל OpenAI הפשטות הזו התגלתה כבאג: אחרי כל פעולה במשחק, כל הריזונינג הפרטי של המודל נמחק. Sol לא ראתה את התוכניות והחשיבה שלה מהצעדים הקודמים. מעבר לזה, חלון הקונטקסט הגולש העלים פעולות ישנות ברגע שההיסטוריה גדלה.

המודל אומן עם זיכרון

הנה הקאץ': Sol אומנה ספציפית עם שמירת ריזונינג בין קריאות. הרתמה של הבנצ'מרק כיבתה את הפיצ'ר הזה, והתוצאות התרסקו. זה כמו לקחת נהג פורמולה 1 ולשים אותו באוטו עם הגה נעול, הנהג אותו נהג, האוטו לא זז.

התיקון: שימור ריזונינג ודחיסה

החוקרים בנו רתמה חלופית שעושה שני דברים פשוטים: שומרת את הריזונינג בין קריאות, ומחליפה את החיתוך הגס בדחיסת קונטקסט, אותן הגדרות שרצות בפרודקשן של ChatGPT ו-Codex. התוצאה: 38.3% מול 13.3% בגרסה הרשמית, כשההוצאה על טוקני אאוטפוט יורדת פי שישה. לשם השוואה, ממוצע אנושי עומד על 48%.

הבנצ'מרק מודד גם את השימוש

המסקנה של OpenAI ברורה: בנצ'מרק לא מודד רק את המודל, אלא גם איך בדיוק מפעילים אותו. הגיע הזמן שבבנצ'מרקים מהסוג הזה יעברו ל-Responses API במקום ה-Chat Completions המיושן. לפעמים שתי תיבות סימון בהגדרות שוות יותר מכל אימון מחדש, והפער בין 13% ל-38% הוא הוכחה חיה.