Epoch AI משיקה את SpireClimb, מודלי חזית מנצחים 90% מהריצות ברמה הקלה

הקפיצה בחצי שנה

לפני חצי שנה מודלי החזית בקושי הצליחו לסיים ריצה ב-Slay the Spire. עכשיו, לפי בנצ'מרק SpireClimb החדש של Epoch AI, הם מנצחים יותר מ-90% מהריצות ברמת הקושי הנמוכה ביותר, ומגיעים עד 20% ניצחונות ברמה הקשה ביותר. הקפיצה הזו משקפת שיפור חד ביכולת תכנון ארוך-טווח וניהול משאבים תחת אי-ודאות, לא רק זיהוי תבניות.

איך המודלים משחקים

ב-SpireClimb המודלים פועלים דרך ממשק גרפי זהה לזה של שחקן אנושי: הם קוראים טקסט על המסך, לוחצים על קלפים ובוחרים נתיבים במפה. לפני כמה חודשים, באותו סידור, המודלים התקשו לקרוא מידע רלוונטי, פספסו קליקים על קלפים ושכחו לבדוק אזורים קריטיים בממשק. כעת המודלים המובילים אוספים מידע אסטרטגי בצורה שיטתית ומבצעים מהלכים מורכבים בלי להיתקע.

הפער מול שחקנים אנושיים

למרות ההתקדמות, ברמת הקושי הגבוהה ביותר שני המשחקים עדיין רחוקים מביצועי שיא של בני אדם. במשחק המקורי GPT-6.1 Sol מוביל עם 20% ניצחונות ב-A20, פי חמישה מהשחקן הממוצע (4% לפי ניתוח של 206 אלף ריצות Ironclad שפרסם mega crit ונותח במאמר SpireBench, arxiv 2610.12596), אבל רחוק מסטרימרים מובילים שנעים בין 46% ל-65%. במשחק ההמשך, שנחשב קל יותר, GPT-6 Astra מוביל אך עדיין מפגר משמעותית אחרי הטופ האנושי. נתון מעניין מהמאמר: מודלים נחים ב-57%-75% ממדורות השבט (campfires) לעומת 9% אצל בני אדם, הבדל שמצביע על גישה שמרנית יותר לניהול חיים.

מה הלאה

הממשק הוויזואלי עלול להגביל ביצועים, אבל ב-Epoch AI מעריכים שהוא לא פוגע קשות במודלים המובילים, בהתחשב ב-90%+ הצלחה ברמה הקלה. הארגון מתכוון להעלות בקרוב יותר מאלף סרטונים שמתעדים את המשחקיות שתועדה לבנצ'מרק, מהלך שיאפשר לחוקרים לנתח התנהגות ברזולוציה גבוהה יותר מציון סופי בלבד. המאמר של SpireBench עדיין בגרסת pre-print ולא עבר ביקורת עמיתים, אז המספרים עשויים להשתנות אחרי שיפוט מסודר.