המכון של MBZUAI משחרר צי שלם: שישה מודלים פתוחים לגמרי, מ-0.9B עד 375B
מכון המודלים הבסיסיים (IFM), מעבדת החזית שהקימה אוניברסיטת MBZUAI במאי 2025, לא הסתפק במודל אחד וטבלת בנצ'מרקים. בשבוע שעבר שחרר המכון את K2 Horizon, שישה מודלים בגדלים 375B-A23B, 36B-A4B, 32B, 7B, 3.7B ו-0.9B, כולם ברישיון Apache 2.0, עם קורפוס האימון המלא, צ'קפוינטים ביניים, קוד אימון, קונפיגים ולוגים מפורטים. ב-IFM מכנים את זה ההשקה הפתוחה הגדולה בהיסטוריה של התחום, וקשה להתווכח: כל השישה יושבים כבר עכשיו ב-Hugging Face עם בניות FP8 ו-GGUF, ותמיכת יום-אפס ב-vLLM, SGLang ו-Ollama על חומרת NVIDIA, AMD ו-Cerebras. גישה מתארחת זמינה דרך Compass, Cerebras ו-Nebius בפלטפורמה של המכון.
מה שמאחורי המספרים
השישה חולקים ארכיטקטורת ליבה, אוצר מילים, מתודולוגיית אימון, ממשקים וכלי פריסה, עקביות שנועדה לאפשר אב-טיפוס על 3.7B וסקייל ל-375B-A23B בלי להחליף סטאק סרווינג. כל מודל אומן מראש על כ-20 טריליון טוקנים, כשכ-17% מהקורפוס הם מסלולי פתרון בעיות עם חשיבה מפורשת, וכ-10 טריליון טוקנים סינתטיים. דאטת הפוסט-אימון קופלה פנימה החל מאמצע האימון ולא נשמרה לסוף, ולדברי חוקרי IFM נוצרו מעל 100 מיליון משימות מסונתזות ייחודיות. הגדרות כלים הוצגו ב-JSON, XML ו-Markdown במהלך האימון כדי שהמודל ילמד סמנטיקה ולא תחביר; Markdown הפך לברירת מחדל באינפרנס, יעיל בכ-18.5% יותר מ-JSON בנתוני המכון.
MoVA ו-Uno: שני חידושים בארכיטקטורה ובאינפרנס
Mixture-of-Value Attention (MoVA) מעביר את הניתוב המומחה (expert routing) גם לשכבות הקשב מרובות-הראשים, לא רק ל-FFN, ופותח ציר שני להגדלת קיבולת תוך תאימות ל-FlashAttention, GQA וקשב דליל. התוצאה, K2-Horizon-MoVA-36B-A4B עם 36B פרמטרים סך הכל וכ-4B פעילים לטוקן, נוחתת מעט מתחת למודל הצפוף 32B בתנאים זהים, אבל מובילה את סט ההשוואה עם 58.6 ב-Terminal-Bench 2.1 ו-26.8 ב-tau3-Banking. במקביל, Uno מקפיא את פרמטרי האוטורגרסיה ומאמן סט קטן של פרמטרי דיפוזיה שלומדים רק לייצר ביעילות; דרך מה ש-IFM מכנים "דיסטילציית דיפוזיה" האדפטרים פולטים בלוקי טוקנים במקביל, עם האצת 3× ללא פגיעה באיכות. האדפטרים משוחררים כ-LoRA, כרגע ל-7B ול-0.9B.
בנצ'מרקים: הקטנים הם הסיפור החד
הדגם הגדול, 375B-A23B, רושם 70.2 ב-Terminal-Bench 2.1, 1,441 Elo ב-GDPVal-AA, 67.7 ב-MCPMark ו-87.3 ב-GPQA Diamond