קייקטוס משחררת את נידל 2, מודל קריאת כלים של 45 מיליון פרמטרים שרץ ב-28 מגה-בייט זיכרון

ארכיטקטורה רזה בלי זמן ריצה

קייקטוס קומפיוט (Cactus Compute) השיקה את נידל 2, מודל פתוח בן 45 מיליון פרמטרים שמתמקד בדבר אחד: מיפוי משפט מבולגן לחתימת פונקציה טיפוסית. התפיסה של הצוות פשוטה, המשימה הזו לא דורשת ידע עולמי ולא פרוזה פתוחה, ולכן 45 מיליון פרמטרים מספיקים. המודל מגיע כבינארי יחיד של 14 מגה-בייט, רץ סשן מלא בכ-28 מגה-בייט ראם, ואין שום ראן-טיים להתקין או הורדה בזמן אינפרנס. המשקולות מאומנות ונפרסות ב-CQ2-ביט באמצעות קוואנטיזציה קניינית (Cactus Quants), וכל העסק אטום בתוך מנוע C++ משל החברה.

ביצועים על חומרה חלשה

המספרים מדברים על חומרה בלי GPU ובלי NPU: 500 טוקנים לשנייה על רספברי פיי 5, 400 עד 1,500 טוקנים לשנייה על מטא קווסט 3S ועל אפל ויז'ן פרו, ו-300 עד 700 טוקנים לשנייה על טלפונים מתחת ל-200 דולר (כ-740 שקל). נידל 2 מוציא 70 MFLOPs לטוקן, עם 35 מיליון מתוך 45 מיליון הפרמטרים פעילים במכפלת מטריצות. לשם השוואה, LFM2.5 בגודל 230 מיליון שורף 460 MFLOPs, פאנקשן-ג'מה (FunctionGemma) 270 מיליון שורף 540, והמודל של אפל (Apple FM) יושב סביב 6,000. פרה-טריינינג נעשה על קורפוס קנייני של 115 מיליארד טוקנים, עם 38 מיליארד טוקנים של פוסט-טריינינג, שבריר מה-19 טריליון שעליהם אומן LFM2.5.

מנוע C++ עם דחיסה בזמן אמת

המשקולות לעולם לא נפרסות לזיכרון. קודי ה-2-ביט נפתחים בתוך רגיסטרים וקטוריים ומתמזגים למכפלות סקלריות שלמים, כך שנתיב החישוב נשאר int8 לכל אורכו. הבינארי בודק את המעבד באתחול ובוחר טיר קירנל מתאים: SDOT, NEON, AVX2, וקטורי RISC-V, wasm SIMD, או סקלרי כברירת מחדל. דקדוק ברמת בייט, שמתורגם מסכמות JSON של המפתח, מגביל כל טוקן נפלט; מכיוון שהמאצ'ר יודע אילו טוקנים חוקיים עוד לפני שיש לוג'יטים, המנוע מדלג על עד 98% מההקרנה של אוצר המילים בטוקנים מבניים. חלון הקשב מחליק על 256 טוקנים, והטרן של המערכת יחד עם הצהרות הכלים נעוצים כ-KV sinks, הזיכרון נשאר סביב 28 מגה-בייט בלי תלות באורך השיחה.

טיפול בכלים ומדד ביטחון

חמישה כלים או פחות מרונדרים ישירות. מעל חמישה, ראש אחזור קונטרסטיבי מטמיע כל סכמה פעם אחת, מדרג את השאילתה בכל טרן, ומכניס רק את חמשת המובילים, הכלים שלא נבחרו בלתי נגישים, לא רק בלתי סבירים. כל תגובה נושאת ערך ביטחון (confidence), שהוא המינימום בין ראש פוסט-הוק מכויל להסתברות הפענוח של טוקני הקריאה. בקשות אוף-טופיק מחזירות קריאה ריקה. החוזה הוא סף: פועלים מעליו, מבקשים הבהרה או מסלימים לענן מתחתיו. הבינאריים המוכנים והספרייה הסטטית זמינים למק, לינוקס (x86-64, ARM64, ARMv7, RISC-V, MIPS32el), ווינדוס, אנדרואיד, iOS/watchOS/tvOS, ו-וובאסמבלי. פבל (Pebble) כבר מריצה את נידל מקומית באפליקציית אינדקס 01 (Index 01) לפעולות קוליות אופליין.