דיסיז'ן 3.0 נוחת על Core ML: ניתוב סמנטי על הסיליקון של אפל

צוות ה-Semantic Router של vLLM שחרר את Decision 3.0 בגרסת Core ML, והמספרים על M5 Pro מדברים בעד עצמם: 0.12 שניות ל-PR, קצב של 8.3 בקשות בשנייה, כשהכול רץ מקומית בלי להוציא בייט אחד החוצה. המודל מטפל באלף פול ריקווסטים וממיין אותם לקבוצות עבודה של vllm-sr, משימה שבדרך כלל דורשת סיבוב לענן, והכול במעבר קדמי יחיד על הטוקן האחרון של הפרומפט.

איך זה עובד מתחת למכסה

בניגוד ל-LLM רגיל שמייצר טקסט, דיסיז'ן מבצע סיווג 255-כיווני (255-way) בקריאה יחידה: הפורוורד פאס מחזיר וקטור הסתברויות FP32 לכל אחת מהאופציות, בלי דיקודינג, בלי סמפלינג, בלי לאטנטיות של גנרציה. החוזה זהה ל-upstream, אותה חתימת פונקציה, אותה התנהגות, רק שהפעם הגרף ממומש ב-Core ML ורץ על ה-Neural Engine של אפל. שלושת הגדלים (lite, nano, mini) מכסים טקסט, תמונה ווידאו באותו ריפו, כל אחד עם גרפים משלו, מגדל ראייה, טבלאות מארח וקוד פייתון מארח, פלוס README שמפרט קבצים, בדיקת שוויון מול המקור ובנצ'מרק מהירות.

אינטגרציה לסוויפט ורישוי

בצד הלקוח, D3VisionManager בתוך FluidUse יודע לטעון כל אחד מהמודלים ישירות, אין צורך בהמרה נוספת או בעטיפות מסובכות. הרישיון נשאר Apache-2.0 כמו בפרויקט המקורי, מה שאומר שאפשר להטמיע במוצרים מסחריים בלי כאב ראש משפטי. המספרים שפורסמו מתייחסים לריצה חיה על M5 Pro; לא פורסמו מדדי ביצועים על דורות קודמים של סיליקון אפל, אז קשה להעריך איך זה ירגיש על M3 או M4 בלי להריץ לבד.

מה זה משנה למפתחים

המשמעות המעשית: ניתוב בקשות סמנטי, שליחת שאלה למודל הנכון, סיווג כוונה, פילוח מולטי-מודאלי, יכול לקרות על המכשיר בלי תלות ברשת, בלי עלות ענן, ובלי דליפת דאטה. עבור אפליקציות שדורשות פרטיות, לאטנטיות נמוכה או עבודה אופליין, זה פותח דלת שסגורה הייתה עד עכשיו. ההורדות בחודש האחרון מצביעות על עניין, אבל בלי מספרים רשמיים קשה לאמוד אימוץ אמיתי.