סיכום COLM 2026: Ai2 מציגה יעילות ארכיטקטונית וכלים למדענים

מכון אלן לבינה מלאכותית (Ai2) חתם את השתתפותו בכנס COLM 2026 בסן פרנסיסקו עם שורת הכרזות שממחישות את הגישה שלו: מעבדה ללא כוונת רווח שמשחררת מודלים, נתונים, קוד ותשתיות אימון במלואם. האירוע שימש במה להצגת מאמר על ארכיטקטורה היברידית, עדכון על הדור הבא של משפחת Olmo, השקת תשתית אימון למודלי mixture-of-experts, ופלטפורמה סוכנת (agentic) לעבודה מדעית, כולן בגישה של משקלים פתוחים ושחזור מלא.

אולמו היברידי: פחות טוקנים, אותה תוצאה

המאמר "Olmo Hybrid: From Theory to Practice and Back" בוחן שילוב של מנגנון הקשב (attention) הקלאסי עם שכבות רקורנטיות לינאריות. הקשב יודע לשלוף פרטים ספציפיים מההקשר המוקדם; השכבות הרקורנטיות שומרות מצב דחוס שמתעדכן עם כל טוקן. בניסויים מבוקרים הגיע אולמו היברידי לאותה דיוק של Olmo 3 7B במבחן MMLU, בנצ'מרק ידע כללי רחב, תוך שימוש ב-49% פחות טוקני אימון. המסקנה: הוספת רקורנציה מאפשרת לדחוס את אותו ידע בפחות חישוב, והממצאים כבר מזינים את הפרה-אימון של הדור הבא.

הדור הבא: MoE היברידי ותשתית פתוחה

המודל הבא במשפחה נמצא כעת בפרה-אימון עם ארכיטקטורת mixture-of-experts היברידית, שמשלבת את הקשב והרקורנציה עם ניתוב טוקנים לתת-קבוצות פרמטרים, עוד מנוף ליעילות. במקביל שוחררה Olmo-core 3, גרסה מחודשת של ספריית האימון שמוסיפה מערכת מתוכננת מחדש לאימון מודלי MoE גדולים. חוקרים יכולים להריץ בעצמם את הקוד, לחקור החלטות אימון ולהשתמש בצ'קפוינטס ובדוחות הטכניים של המערכת האקולוגית הרחבה של Olmo. גוגל דיווחה לאחרונה ששחזרה את ריצת האימון של Olmo 3 7B ב-MaxText על גבי TPUs בענן שלה, הוכחה מעשית לשחזור שהגישה הפתוחה במלואה מאפשרת.

אסטה: סוכן מדעי עם ציטוטים

בצד היישומי, Ai2 מפתחת את Asta, פלטפורמה סוכנת לעבודה מדעית שנבנית בשיתוף חוקרי תחום (domain experts). הרכיב הראשון שפורסם, AstaBrief, הוא מודל במשקלים פתוחים שיוצר דוחות מצוטטים מתוך שאלת מחקר וספרות שנשלפה אוטומטית. מדענים יכולים להריץ אותו במצב Fast של הפלטפורמה או להוריד את המשקלים לתשתית מקומית. לפי נואה א. סמית (Noah A. Smith), מנהל מחקר NLP בכיר במכון, המטרה היא להבין היכן מודלים כלליים נכשלים במשימות מדעיות אמיתיות ומה מודלים פתוחים עתידיים צריכים לתמוך.

בולמו ב-Nature: מודל ברמת בייט

במהלך הכנס פורסם ב-Nature המאמר "Retrofitting language models to operate over bytes", העומד מאחורי בולמו (Bolmo). רוב המודלים כיום מפרקים טקסט לטוקנים מאוצר מילים קבוע; בולמו פועל ישירות על בייטים, מה שמאפשר ייצוג אחיד לכל שפה, קוד או פורמט נתונים בלי תלות בטוקנייזר. הפרסום בכתב עת מדעי מוביל מסמן הכרה אקדמית בכיוון ש-Ai2 דוחפת: ארטיפקטים פתוחים שחוקרים אחרים יכולים לבחון, לשחזר ולהרחיב, בלי קירות גן ובלי תנאי רישוי מגבילים.