קלאודפלייר משיקה את Clef-Omni: מודל MoE מולטי-מודאלי להחלטות מובנות

קלאודפלייר (Cloudflare) שחררה את Clef-Omni, מודל תערובת-מומחים (Mixture-of-Experts) של 30 מיליארד פרמטרים עם 3 מיליארד פעילים, שפותח מעל Qwen3-Omni-30B-A3B-Instruct של קוואן (Qwen). בניגוד למודלי שפה כלליים, Clef-Omni לא מייצר טקסט חופשי: הוא מקבל מצב (state) וסכמה של שאלות מוטיפוסות, ומחזיר הסתברות לכל אפשרות מותרת בכל שאלה במעבר קדימה יחיד. הקלט יכול להיות טקסט, JSON, תמונות, אודיו או וידאו; הפלט הוא לוגיט לכל אופציה, שאחרי סופטמקס לכל שאלה נותן התפלגות הסתברותית מלאה.

ארכיטקטורה: בקבון קיים, ראש חדש

הבקבון (backbone) הוא ה"חושב" של Qwen3-Omni על מקודדי הראייה והשמע שלו, מאוחסן כטנסורים בטוחים (safetensors) מפוצלים. משקלי הפקת הדיבור המקוריים (talker ו-code2wav) נכללים בחבילה אך אינם נטענים בזמן ריצה, load_release_model מדלג עליהם. מעל הבקבון יושב ראש סכמה משותף (joint schema head): טרנספורמר קטן שקורא את המצבים הנסתרים הסופיים, מנתב ראיות מהמצב לכל שאלה, ומדרג את כל האופציות של כל השאלות יחד. הגישה הזו מייתרת פירסינג של פלט טקסטואלי ומבטיחה שהמודל מחזיר בדיוק את המבנה שהוגדר בסכמה.

דרישות חומרה וסביבה

לפי הבדיקות של קלאודפלייר, המודל רץ על H200 יחיד עם כ-64 ג'יגה-בייט זיכרון GPU ב-bfloat16, תחת PyTorch 2.11 ו-transformers 5.10.2. קלטי תמונה דורשים את ספריית Pillow, וקבצי אודיו ווידאו דורשים את av (פייתון-בינדינג ל-FFmpeg). וידאו נדגם בקצב של שני פריימים לשנייה, בין אם מדובר בקובץ, URL, base64, מערך פריימים RGB או נתיב מקומי.

תאימות API ודוגמת שימוש

ה-API תואם במלואו את Jev ו-SystemOne. פונקציית systemone מקבלת גוף בקשת POST סטנדרטי של SystemOne ומחזירה תשובות ממופתחות לפי מזהה שאלה: בחירה (choice) עם האופציה שנבחרה, ביטחון והסתברויות; ניקוד (score) עם ניקוד צפוי, ביטחון, מקרא והסתברויות; או שאלת כן/לא (noul) עם הסתברות לאמת. הדוגמה בקוד מדגימה ניתוב הודעת תקלה למחלקה הנכונה, הערכת דחיפות, וזיהוי האם מדובר בנפילת שירות, הכל בקריאה אחת, עם אפשרות לצרף תמונות, אודיו או וידאו כ-data URLs מקודדים בבסיס-64.

מה זה משנה בפועל

Clef-Omni מכוון למשימות שבהן הפלט חייב להיות מובנה ומאומת, סיווג חשבוניות, ניתוב התראות, חילוץ שדות ממסמכים מולטי-מודאליים, בלי הצורך בשרשור מודל שפה עם ולידציה חיצונית. העובדה שהמודל פותח ממודל קיים של קוואן ולא נבנה מאפס מורידה עלויות אימון, אבל גם אומרת שמגבלות הבקבון (חלון הקשר, איכות קידוד וידאו) עוברות בירושה. קלאודפלייר לא פרסמה בנצ'מרקים השוואתיים מול מודלים צפופים (dense) מקבילים, כך שהטרייד-אוף בין גודל פעיל לאיכות החלטה נשאר פתוח לבדיקה עצמאית.