פריזם מצליחה לדחוס מודל של 27 מיליארד פרמטרים ל-3.9 ג'יגה בלבד, ומאיימת לשנות את כללי המשחק באייפון

הסטארט-אפ פריזם (PrismML) שחרר השבוע את Bonsai 27B, גרסה דחוסה של Qwen3.6 27B הסינית, והפך אותה למודל השפה הגדול הראשון בסדר גודל כזה שרץ מקומית על סמארטפון. הגרסה המקורית שוקלת כ-54 ג'יגה, משקל שפשוט לא נכנס לזיכרון של טלפון, אבל הצוות של פריזם הצליח לקצץ אותה ל-3.9 ג'יגה בלי לאבד יותר מדי אינטליגנציה בדרך. במקום לעגל משקולות אחרי האימון בשיטת הקוונטיזציה הרגילה, הם אימנו את המודל מראש עם סט ערכים מוגבל וקשיח, טכניקה ששמרה על 90 עד 95 אחוז מהביצועים של הגרסה המלאה.

התוצאה מעשית להפתיע: המודל מסוגל לנהל שיחה מורכבת, לכתוב קוד, לנתח מסמכים ותמונות מהמצלמה, ולהריץ משימות מרובות שלבים כמעין סוכן אוטונומי, הכל בלי לשלוח בייט אחד לענן. את ההורדה אפשר לבצע ישירות מהוגינג פייס (HuggingFace), מאגר הקוד הפתוח הגדול בעולם למודלי שפה, ולהריץ אותה על מכשירי אייפון עדכניים באמצעות מנוע ההסקה המקומי של אפל.

מאחורי הפרויקט עומדת קבוצה שיצאה ממכון קאלטק (Caltech) האמריקאי, אחד המוסדות המחקריים הנחשבים בעולם להנדסה ומדעים מדויקים, ובגיבוי קרן חוסלה ונצ'רס (Khosla Ventures) של וינוד חוסלה, לצד גוגל וסמסונג שהשתתפו בסבב סיד של 16.25 מיליון דולר (כ-60 מיליון שקל). לפי דיווח של The Information, אפל כבר קיימה מגעים עם פריזם על שילוב הטכנולוגיה, צעד שמתיישב עם האסטרטגיה המוצהרת של החברה להריץ כמה שיותר בינה מלאכותית על המכשיר עצמו, מטעמי פרטיות ומהירות. בינתיים החלקים המתקדמים ביותר של סירי המחודשת עדיין רצים על שרתים, אבל Bonsai מראה שהפער נסגר מהר מהצפוי.

המשמעות רחבה יותר ממודל בודד: הוכחת היתכנות שמודל ברמת 27B נכנס לכיס משנה את הנחות היסוד של מפתחים שבונים היום אפליקציות AI. במקום לתכנן ארכיטקטורה היברידית עם נפילה לענן, אפשר להתחיל לחשוב על יכולות מלאות אופליין, ניתוח מסמכים רגישים, כתיבת קוד בטיסה, עיבוד תמונות רפואיות, בלי לדאוג לרוחב פס, לאחסון או למדיניות פרטיות משתנה של ספק ענן.

המודל זמין כבר עכשיו להורדה וניסוי, והקהילה הטכנית מתחילה לבדוק אותו בתנאי אמת. אם הביצועים יחזיקו גם בעומסים יומיומיים, פריזם עשויה להפוך לספקית תשתית קריטית לגל הבא של אפליקציות AI מקומיות, ואפל, שמחזיקה את המפתחות לחומרה ולתוכנה באייפון, תצטרך להחליט אם לאמץ, לחקות או לרכוש.