מודלים גדולים בתמחור מתוחכם

Anthropic הכריזה על Claude 4 Opus עם חלון הקשר של מיליון טוקנים, בעוד OpenAI הציגה את o3 Pro במחיר של 200 דולר למיליון טוקנים, ומיקרוסופט השיקה את GitHub Copilot במצב Agent Mode במחיר של 10 דולר לחודש. למרות שה‑o1 Pro של OpenAI עדיין מובילה בבנצ׳מרק שלנו, זאת נובעת מכך שהופעלה במצב ידני במסגרת Pro Subscription; הפעלה דרך ה‑API תעלה בין 200 ל‑400 אירו עבור עומס דומה, ולכן אין תמריץ משמעותי להשתמש בה. ההתמקדות של ספקי המודלים חלה כעת על פיתוח ארכיטקטורות חדשות ושיפור החומרה לתמיכה בפורמטים מתקדמים, במקום להמשיך להקצות משאבים למודלים יקרים ובלתי פרקטיים. דוגמה לכך היא Fable/Mythos, שמדגישים שילוב של מודלים קטנים, חיבורים חכמים וגישה של סוכנים, כפי שמצביע מחקר BitGN: מודל קטן המחובר לחיבורים מתאימים משיג תוצאות טובות יותר ובעלות נמוכה יותר מאשר מודל יקר ביותר. במישור המעשי, עלות השימוש במודלים מתקדמים אך חסכוניים—כגון Qwen 3.7 Max, GPT‑5.5 ו‑Claude Opus 4.7—נעה סביב חמש אירו, מה שמרחיב את נגישות ה‑LLM לביצוע משימות ללא צורך בחיבורים מורכבים. כאשר משימה חורגת מהיכולות של המודלים הזולים, אפשר במקום לרכוש מודל יקר לבנות ערכת הערכה מותאמת ולבחור ארכיטקטורה מתאימה במצב חצי‑אוטומטי, בעזרת Agentic Goals שכבר משולבות ברוב מערכות הקידוד האינטליגנטיות.

— מדד עלות מודלים