קלאוד פייבל 5.1: חכם, יקר, איטי, ומאוד דברן

Anthropic השיקה ב-1 בספטמבר את קלאוד פייבל 5.1 בגרסת "חשיבה מסתגלת, מאמץ מרבי, ברירת מחדל לחזרה", מודל שמגיע לציון 66 במדד האינטליגנציה של Artificial Analysis, כמעט כפול מהחציון של מודלי חשיבה באותו טווח מחיר (36). אלא שההישג הזה מגיע עם תג מחיר חריג: 10 דולר למיליון טוקני קלט ו-50 דולר למיליון טוקני פלט, לעומת חציון של 2 ו-10 דולר בהתאמה. הרצת המבחן המלא עלתה 8,523 דולר (כ-31,500 שקל), סכום שממקם את פייבל 5.1 בליגה משלו מבחינת עלות להערכה.

אינטליגנציה גבוהה, ורבליות קיצונית

הציון 66 מציב את המודל "הרבה מעל הממוצע" בקטגוריית מודלי חשיבה (reasoning models) בטווח המחיר הגבוה (מעל דולר אחד למיליון טוקנים ביחס משוקלל 3:1 קלט/פלט). אלא שבמהלך ההערכה ייצר המודל 140 מיליון טוקני פלט, כמעט פי שניים מהחציון (71 מיליון). במילים פשוטות: פייבל 5.1 מדבר הרבה כדי להגיע לתשובה. הוורבליות הזו לא רק מנפחת את חשבון הפלט; היא גם מאריכה את זמן התגובה הכולל בפועל.

מהירות ולטנסי: לא למי שממהר

קצב הפליטה עומד על 66.4 טוקנים לשנייה (חציון: 72.5), איטי מהממוצע בקטגוריה. הבעיה הגדולה יותר היא זמן לטוקן ראשון (TTFT): 296.81 שניות, לעומת חציון של 2.96 שניות בלבד. זה לא טעות הקלדה. כמעט חמש דקות המתנה לפני שהמודל מתחיל לפלוט טוקן ראשון. זמן התגובה מקצה לקצה ל-500 טוקנים, שמחשב את ה-TTFT, את זמן ה"חשיבה" ואת קצב הפליטה, מציב את פייבל 5.1 בקצה העליון של הסקאלה. למשימות אינטראקטיביות זה כמעט בלתי שמיש.

חלון הקשר ותמיכה במודליות

המודל תומך בקלט טקסט ותמונה, מוציא טקסט בלבד, ומציע חלון הקשר של מיליון טוקנים, נתון סטנדרטי בדור הנוכחי של מודלי דגל. תמחור מטמון (cache hit) לא פורט במקור, אבל במחירי הקלט והפלט המלאים, כל שיחה ארוכה או ריבוי קריאות עם הקשר משותף הופך לעסק יקר מאוד. ההשוואה נעשתה מול מודלי חשיבה קנייניים (proprietary) באותו טווח מחיר, לא מול מודלי משקולות פתוחות.

שורה תחתונה: כלי למקרים ספציפיים בלבד

פייבל 5.1 מוכיח שאנתרופיק יודעת לדחוף את רף האינטליגנציה גבוה, אבל המחיר, הלטנסי והוורבליות מגבילים אותו למשימות שבהן איכות התשובה מצדיקה המתנה של דקות ועלות של עשרות דולרים להרצה. לקוד יומיומי, סיכום מסמכים או צ'אט בזמן אמת, זה לא המודל. למחקר עמוק, תכנון מורכב או משימות שבהן טעות אחת עולה ביוקר, ייתכן שהוא שווה את הפרמיה.