ארטיפישיאל אנליסיס מפרסמת את מפת ההערכות המלאה שלה

הפלטפורמה העצמאית ארטיפישיאל אנליסיס (Artificial Analysis) חושפת את סל הבדיקות המלא שבו היא משתמשת כדי לדרג מודלי שפה, ומציעה תמונה רחבה יותר מהבנצ'מרקים הסטנדרטיים. האתר, שמתמקד בהשוואות בלתי תלויות, מחלק את ההערכות לארבע קטגוריות ראשיות: אינטליגנציה, יכולות מולטימדיאליות, עלות ומהירות, כשכל קטגוריה מפורקת למדדים ספציפיים עם אינטרוולים של 95% ביטחון.

מדד אינטליגנציה, עלות לאורך זמן ובדיקות סוכנים

בלב המערכת עומד ה-Artificial Analysis Intelligence Index, שמפריד בין מודלים במשקולות פתוחות (Open Weights) לקנייניים ומציג את העלות לכל משימת אינדקס. לצדו מופיע גרף התפתחות האינטליגנציה לאורך זמן, והשוואה של סוכני קידוד (coding agents) על משימות הנדסת תוכנה מקצה לקצה, כולל זמן ריצה ועלות מצטברת. הנתונים מאפשרים לראות לא רק מי "חכם" יותר, אלא מי מספק אינטליגנציה לשקל.

ארבעה בנצ'מרקים ייעודיים לעבודת ידע ולדיוק עובדתי

ארבעה מבחנים חדשים יחסית מכסים תרחישים עסקיים קונקרטיים: AA-Briefcase בודק סוכנים במשימות אופק ארוך שדורשות תוצרים כמו גיליונות אלקטרוניים, מצגות ומזכרים, עם דירוג Elo; AA-AnalystAgent מודד ניתוח כמותי מקצה לקצה על גיליונות ומסמכים אמיתיים במדד pass^5; AA-Omniscience מתמקד בידע והזיות, מתגמל דיוק ומעניש ניחושים גרועים; ו-GDPval-AA v2 מעריך משימות בעלות ערך כלכלי ריאלי במגוון מקצועות. כל אחד מהם תוכנן כדי לשקף עבודה יומיומית, לא חידות אקדמיות.

פתיחות, טוקנים, תמחור ושיהוי

מדד הפתיחות (Openness Index) של הפלטפורמה מדרג מודלים לפי זמינות ושקיפות רכיבים שונים, משקולות, קוד, נתונים, רישיון, ומאפשר להשוות אותו מול מדד האינטליגנציה. במקביל מתפרסמים נפח טוקני פלט למשימה, פירוט עלויות (Cache Hit, קלט, פלט) והשוואת שיהוי וביצועים של ה-API הרשמי של כל ספק. השילוב נותן למהנדסים תמונה מלאה: לא רק כמה המודל חכם, אלא כמה הוא עולה, כמה הוא מהיר, וכמה הוא באמת פתוח.