מודל קריאה לפונקציות ב-14 מגה-בייט
קקטוס קומיוט (Cactus Compute) משחררת את Needle 2, מודל פתוח של 45 מיליון פרמטרים שמיועד לקריאה לפונקציות (tool calling), שליטה בהתקנים וחילוץ מוב��ה, וארוז כקוב�� בינארי יחיד של 14 מגה-בייט. המשקולות מאומנות ונפרסות בדיוק CQ2-bit באמצעות קוואנטיזציה קניינית, וה��ודל כולו חתום בתוך מנוע C++ משל החברה כך שאין צורך בהתקנת ריצה (runtime) ואין הורדה בזמן הסקה. התפוקה המדווחת עומ��ת על 500 טוקנים לשנייה על Raspberry Pi 5, 400-1,500 טוקנים לשנייה על Meta Quest 3S ו-Apple Vision Pro, ו-300-700 טוקנים לשנייה על טלפונים שמחירם נמוך מ-200 דולר (כ-740 שקל). הנחת היסוד צרה ומוצהרת: מיפוי משפט מבולגן לחתימת פונקציה מטופסת לא דורש ידע עולמי ולא פרוזה פתוחה, ולכן 45 מיליון פרמטרים מספיקים, וה��ודל מכוון לחומרה ללא GPU וללא NPU.
ארכיטקטורה: רשת קשב פשוטה
Needle 2 מבוססת על מה שה��וות מכנה Simple Attention Network. המתכון מחליף את ה-FFN ב-Hadamard MLP, שומר על GQA attention, מוסיף זיכרון מפתח-ערך מסוג engram מטבלאות n-gram מגוב��ות, ומשתמש בחיבורי-על מרובי-נתיבים (multi-lane hyper-connections). הרשת בת 27 שכבות ורוחב 512. המחקר הב��יסי פורסם כפרה-פרינט ב-arXiv תחת הכותרת "A Controlled Study of Attention-Only Transformers". האימון המוקדם השתמש בקורפוס קנייני של 115 מיליארד טוקנים, עם 38 מיליארד טוקנים נוספים באימון-בתר; לשם השוואה, הצוות מציין ש-LFM2.5-230M אומ�� על 19 טריליון טוקנים. העלות החישובית עומ��ת על 70 MFLOPs לטוקן, כש-35 מיליון מתוך 45 מיליון הפרמטרים פעילים בכפל מטריצות, לעומת 460 MFLOPs ב-LFM2.5 230M, 540 ב-FunctionGemma 270M, וכ-6,000 ב-Apple FM.
מנוע, דקדוק, אחזור וביטחון
ה��שקולות לעולם לא נפרסות ל-RAM: קודי ה-2-ביט נפתחים בתוך רגיסטרים וקטוריים ומתמ��גים למ��פלות סקלריות שלמים, כך שנתיב החשבון נשאר int8. הבינארי בודק את המעבד באתחול ובוחר דרגת קרנל: SDOT, NEON, AVX2, וקטורי RISC-V, wasm SIMD, או סקלרי. דקדוק ברמת בתים שמקומ��ל מסכמות JSON שלכם מגביל כל טוקן נפלט; מכיוון שה����אם יודע אילו טוקנים חוקיים עוד לפני קיום הלוגיטים, המנוע מדלג על עד 98% מה����רנה של אוצר המילים בטוקנים מב��יים. הקשב משתמש בחלון הזזה של 256 טוקנים, והתור המערכתי יחד עם הצהרות הכלים מקובעים כ-KV sinks, הזיכרון נשאר סביב 28 מגה-בייט בלי תלות באורך השיחה. חמישה כלים או פחות מרונדרים ישירות; מעל חמישה, ראש אחזור קונטרסטיבי מטמיע כל סכמה פעם אחת, מדרג את השאילתה בכל תור, ומ��ניס רק את החמישה המובילים, כלים שלא נבחרו בלתי נגישים, לא רק בלתי סבירים. כל תגובה נושאת ערך ביטחון, המינימום בין ראש פוסט-הוק מכויל לה��תברות הפענוח של טוקני הקריאה; בקשות מחוץ לתחום מחזירות קריאה ריקה. החוזה הוא סף: פעל מעליו, שאל שוב או הסלים מתחתיו.
פריסה ויעדים
Needle 2 מגיעה כבינאריים מוכנים וכספרייה סטטית ל-macOS, Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32el), Windows, Android, iOS/watchOS/tvOS, ו-WebAssembly. לדברי קקטוס, Pebble כבר מריצה את Needle מקומית באפליקציית Index 01 לפעולות קוליות אופליין. קהל היעד: צוותים שמפיצים קושחה או אפליקציות על חומרה מוגבלת, סטארטאפים לבישים ו-IoT בשלבי סיד, יצרני אלקטרוניקה צרכנית בשוק הביניים, צוותי רובוטיקה, ויצרני התקנים גדולים שצריכים נפילה לאופליין. תעשיות: בית חכם, לבישים, מובייל נמוך-קצה, שליטה בתא נהג ברכב, רובוטיקה שירותית, קיוסקים ו-POS קמעונאיים, נתבים ומצלמות IP, וסביבות מפוקחות שאסור לאודיו לצאת מה��. יישומים: קול-לפעולה בהתקנים ללא מסך, שליטה במ��שירים אופליין, חילוץ שדות מקבלות וחשבוניות, תיוג ערכי enum, וניתוב מקומי שמסלים לענן רק בביטחון נמוך.
הערכה וב��צ'מרקים
ה��וות מדווח על הערכה בחמישה בנצ'מרקים פומ��יים לקריאה לפונקציות באמצעות ordered strict exact match, מדד שדורש התאמה מדויקת של שמות, סדר קריאות, וכל ארגומנט. פרטי הציונים המלאים לא פורסמו בגרסה הנוכחית של ההודעה.