מודלים בקצה הגבול עדיין מפסידים לשחקנים מובילים בסליי דה ספייר

לפי בנצ'מרק חדש של Epoch AI ששמו SpireClimb, מודלי שפה בקצה הגבול (frontier models) מצליחים לנצח יותר מ-90% מהריצות ברמת הקושי הקלה ביותר של Slay the Spire, אך ברמה הקשה ביותר שיעור הניצחונות שלהם נעצר סביב 20%. GPT-6.1 Sol מוביל במשחק המקורי, ואילו במשחק ההמשך, שנחשב קל יותר, המודל המוביל הוא GPT-6 Astra, שעדיין רחוק מביצועי שחקנים אנושיים מובילים.

שיפור חד בחצי שנה

לפני שישה חודשים אותם מודלים בקושי הצליחו לסיים ריצה אחת במשחק. כעת, בסביבת ממשק גרפי זהה לזו של שחקן אנושי, הם קוראים טקסט על המסך, לוחצים על קלפים בדייקנות ובודקים אזורים רלוונטיים בממשק בלי לשכוח פרטים קריטיים. החוקרים מציינים שהמודלים הטובים ביותר אוספים מידע אסטרטגי בצורה שיטתית ומבצעים מהלכים מורכבים באופן חלק, והם מתכננים להעלות בקרוב יותר מאלף סרטונים שמתעדים את המשחקים שנמדדו.

הממשק הגרפי אינו צוואר הבקבוק העיקרי

העובדה שהמודלים מנצחים 90% מהזמן ברמה הקלה מעידה שממשק ויזואלי כשלעצמו אינו מגביל אותם בצורה חמורה. עם זאת, ברמת הקושי הגבוהה שיעור הניצחונות עדיין נמוך משמעותית מזה של מומחים אנושיים, והפער נותר יציב בשני הכותרים.

עומק חיפוש, לא מדיניות בסיס

הניתוח של Epoch AI מראה ששיעור הניצחונות ברמה הקשה דועך אקספוננציאלית ככל שאורך הפרק (episode length) גדל. לדברי החוקרים, הדפוס הזה מצביע על כך שצוואר הבקבוק הוא עומק החיפוש (search depth), היכולת לתכנן לטווח ארוך ולצבור החלטות בלי ששגיאות קטנות יתגלגלו לכישלון, ולא איכות המדיניות הבסיסית (base policy) של המודל.