מודלים פתוחים מצמצמים פערים ממעבדות סגורות, וחודשים בודדים מפרידים ביניהם באיכות

טרי דאו (Tri Dao) הציג ב־ICML תמונת מצב חדה: המודלים הפתוחים נמצאים כעת במרחק חודשים ספורים מהמובילים הסגורים, וערימת ההגשה (serving stack), קרנלים, מנועי הסקה (inference engines) ופענוח ספקולטיבי (speculative decoding), ממשיכה להכפיל את היתרון התפעולי שלהם. הדברים נאמרו במסגרת כנס המחקר המרכזי, והם משקפים מגמה שהחוקרים עוקבים אחריה כבר כמה רבעונים.

ערימת ההגשה כמכפיל כוח

הרכיבים שדאו מנה אינם קישוט: קרנלים מותאמים חומרה מקצרים את זמן האסימון הראשון, מנועי הסקה כמו vLLM או SGLang ממקסמים תפוקה (throughput) בזיכרון קבוע, ופענוח ספקולטיבי מאפשר לייצר כמה אסימונים במקביל בלי לאבד דיוק. כל אחד מהרכיבים האלה משתפר בנפרד, וכשהם משולבים, השיפור מצטבר (compounds) ולא רק מסתכם. זו הסיבה שהפער ב"איכות גולמית" (raw quality) אינו מספר את הסיפור המלא.

פער של חודשים, לא שנים

ההערכה של "חודשים בודדים" משמעותית כי עד לא מזמן דיברו הקהילה על פער של שנה ויותר בין גרסאות סגורות לפתוחות המקבילות. הקצב הנוכחי נובע משילוב של נתונים פתוחים איכותיים יותר, מתכוני אימון (training recipes) שדלפו או פורסמו, ומחזורי שחרור קצרים יותר של קהילות כמו Llama, Qwen או Nemotron. כשהבסיס מתקדם מהר, גם ההתאמה (fine-tuning) והיישום מתקצרים.

שליטה וגמישות כיתרון מעשי

מגיב לפוסט של Together AI ציין שמודל פתוח עם ערימת הגשה ראויה "שימושי לאין שיעור" ממודל סגור מאותה רמה, גם אם הוא מגיע באיחור של חודשים. הנימוק: שליטה מלאה בהתאמה, ב־fine-tuning, ובפריסה (deployment), בלי תלות ב־API חיצוני, במגבלות קצב (rate limits) או בשינויי מדיניות של ספק יחיד. לארגונים שמריצים עומסי ייצור (production workloads) זה הבדל בין יכולת לתכנן קיבולת לבין הימור על זמינות של שירות צד שלישי.

מה חסר בתמונה

דאו לא פרסם מדדי ביצועים (benchmarks) קונקרטיים בהצהרה, ולא ציין באילו משימות או קבוצות נתונים (datasets) נמדד הפער של "חודשים". גם ההגדרה של "איכות" נותרה פתוחה, האם הכוונה ל־MMLU, ל־HumanEval, להערכה אנושית (human eval) או למדד משולב. בלי מספרים ומתודולוגיה, הקביעה נשארת אינדיקטור כיוון ולא הוכחה כמותית.