פלואיד אינפרנס מציגה מודל 0.6B שרץ על ניורל אנג'ין ומטפל באלף כרטיסים בדקה

זיקוק מ-9B ל-0.6B עם ראש סכמה משותף

חברת Fluid Inference שחררה את clef-text-0.6b, מודל החלטות טקסטואליות של 0.70 מיליארד פרמטרים שפותח עבור Apple Silicon. המודל זוקק (distilled) ממודל clef-flash של Cloudflare, שמכיל 9 מיליארד פרמטרים, אל בסיס Qwen3-0.6B בתוספת ראש סכמה משותף (joint schema head) שמגיע מהמודל המקורי. החוזה זהה לזה של Clef ושל ה-API של Jev / SystemOne: מקבלים מצב (state) ושאלות מטויפות (noul, choice, score), ומחזירים הסתברות לכל אופציה בכל שאלה במעבר קדמי יחיד. המשקולות זמינות ב-Hugging Face תחת FluidInference/clef-text-0.6b, וסביבת הריצה ב-Swift נקראת ClefTextManager בתוך החבילה FluidUse.

ביצועי סיווג קרובים למורה, לא מודל ידע

על פיצולי מבחן רשמיים (5,124 שאלות שהוחזקו בצד) המודל מגיע לדיוק זהב (gold accuracy) שנמצא בטווח 0-4 נקודות מהמורה בניתוב וסיווג, נושא, ישות, סנטימנט, דירוג, רעילות ורגש. מנגד, במשימות שדורשות ידע עולם, שאלות מדע, היגיון בריא (commonsense QA) ו-NLI, הביצועים נשארים הרבה מתחת ל-9B. הסכמה עם המורה עומדת על 86.4%, ושגיאת כיול (ECE) של 0.046 על סט הפיתוח. במילים אחרות: זהו מודל החלטות מהיר, לא אנציקלופדיה דחוסה.

שוויון מספרי בין PyTorch ל-Core ML על הניורל אנג'ין

ההשוואה בין הריצה ב-PyTorch לבין Core ML על אותו סט של 5,118 שאלות מראה 15 תשובות שונות בלבד (0.3%), כולן במצבים של כמעט-תיקו (הפרש של עד 0.11 בין שתי האפשרויות המובילות ב-PyTorch). סטיית ההסתברות החציונית היא 0.013, והדיוק זהה בטווח ±0.7 לכל משימה. פענוח (decoder) באורך 512 טוקנים לוקח 35 מילישניות על ה-GPU, 64 מילישניות על הניורל אנג'ין, ו-200 מילישניות על CPU בלבד. על המק שנבדק ה-GPU מהיר פי שניים בערך, אבל הניורל אנג'ין משאיר את ה-GPU פנוי לעומסים אחרים, יתרון מעשי במערכות שמריצות גרפיקה או חישוב מקבילי.

48 מילישניות לכרטיס תמיכה בדמו חי

בסביבת Swift, כרטיס תמיכה עם שלוש שאלות (כ-370 טוקנים) מטופל ב-48 מילישניות על ה-GPU, זה הקצב שאיפשר 1,000 כרטיסים ב-57 שניות בהדגמה של FluidUse. על הניורל אנג'ין אותו תרחיש לוקח כ-77 מילישניות, לעומת כחצי שנייה ל-clef-flash המקורי (9B, Core ML על GPU). קיצור זמן התגובה בסדר גודל של 10× הופך את המודל למועמד ריאלי לנתב (router) או מסווג בזמן אמת בתוך אפליקציות מק נייטיביות, בלי לשלוח בקשות לענן.

אימון על 24 אלף דוגמאות מ-12 מקורות, רישיון Apache-2.0

תהליך הזיקוק השתמש ב-24,208 רשומות מ-12 מערכי נתונים ציבוריים (פיצולי אימון; פיצולי המבחן הוחזקו בחוץ) שסומנו על ידי clef-flash בגרסת 8-ביט Core ML (הפוך אחד ל-611 לעומת fp32). פונקציית האובדן שילבה KL divergence עם טמפרטורה 2 ו-0.3 אובדן צולב (cross-entropy) מול תוויות זהב. על השדרה (backbone) הופעל LoRA בדרגה 64 והראש אומן במלואו לשתי אפוקות (epochs), כשראש המודל מתחיל ממשקולות הראש של clef-flash היכן שהצורות תואמות. המודל והמורה שניהם ברישיון Apache-2.0, והבסיס Qwen3-0.6B אף הוא Apache-2.0, כלומר משקולות פתוחות (open weights) עם חופש שימוש מסחרי מלא.