נומס משיקה את קאוזילו: מודל יסוד טבלאי שמוביל את טבארנה בקרב מודלים בודדים

נומס AI (Nums AI) שחררה אתמול את קאוזילו (Causilo), מודל יסוד טבלאי (tabular foundation model) שמטפס לראש טבלת טבארנה (TabArena) בקרב מודלים בודדים, הן בסיווג והן ברגרסיה, עם ציון Elo של 1,794. המודל מגיע עם ממשק scikit-learn, קוד ברישיון Apache-2.0 ומשקולות מאומנות מראש ב-Hugging Face, אבל שימוש מסחרי, בפרודקשן או דרך API מתארח דורש רישיון נפרד מהחברה.

איך זה עובד: למידה בהקשר בלי עדכון משקולות

קאוזילו הוא מודל למידה בהקשר (in-context learning): קריאה ל-fit לא מעדכנת את המשקולות המאומנות, אלא שומרת את שורות האימון כהקשר ומנבאת שורות שאילתה במעבר קדימה אחד. לדברי נומס, האימון המוקדם נעשה אך ורק על נתונים סינתטיים, בלי אף אחד ממאגרי טבארנה. הקלט יכול להיות מערכי NumPy או DataFrames של פנדס, כולל פיצ'רים קטגוריאליים וערכים חסרים. סיווג תומך בעד 10 מחלקות; רגרסיה מחזירה ממוצע כברירת מחדל, וגרסה 1.0.1 מוסיפה חציון וקוונטילים המבוססים על 999 קוונטילים מקוריים.

ארכיטקטורה: זיקוק, דחיסה ולמידה בהקשר

החברה מחלקת את הרשת לשלושה שלבים: זיקוק (refinement), דחיסה (compression) ולמידה בהקשר. פיצ'רים מקובצים בשלשות; כל ערך מקבל אמבדינג עם 16 תדרי סינוס וקוסינוס נלמדים, וערכים חסרים מקבלים וקטור נלמד משלהם. שני שלבי עמודה מסכמים כל קבוצת פיצ'רים דרך 128 חריצים לטנטיים שקוראים רק את שורות האימון. ביניהם, שלב שורה מאפשר אינטראקציה בין הקבוצות דרך 4 טוקנים לטנטיים, באמצעות cross-attention במקום self-attention מלא, מה שלדברי נומס שומר על עלות ליניארית במספר הפיצ'רים. בלוק pooling דוחס כל שורה לווקטור קבוע של 512 ממדים, תוויות מתווספות לשורות האימון, ובלוק ניבוי בן 12 שכבות נותן לשורות השאילתה לשים לב לאותן שורות מסומנות, בלי לשנות את ההקשר או זו את זו. ברירת המחדל מפעילה 8 חברי אנסמבל שחולקים משקולות, כשכל אחד עובר נרמול שונה עם פרמוטציות מזורענות.

תוצאות טבארנה: מקום ראשון עם כוכבית

ההרצה הרשמית כללה 51 מאגרים ו-816 פיצולי Full עם 8 אסטימטורים ו-seed 42; מתחזק הבנצ'מרק הריץ מחדש את ההערכה המלאה וקיבל אותו Elo כולל של 1,794. היריבים הבולטים: TabFM של גוגל ריסרץ', EXAONE Tabular של LG AI Research ו-TabPFN-3 של Prior Labs (1,636.2). כמה הסתייגויות: המקום הראשון לא כולל כניסות מערכת (system entries), איתן קאוזילו מגיע שלישי מתוך 88 בסך הכול. בתחום השיפור (improvability) TabFM עדיין מוביל בסך הכול ובסיווג, ואילו קאוזילו מוביל ברגרסיה. רווחי הסמך של ה-Elo בצמרת חופפים, כך שהיתרון על TabFM ו-EXAONE צר. נומס מציינת גם את Xiaomi-TabLDM ואת Mitra-v2 של אמזון מאחורי קאוזילו, אבל אף אחד מהם לא מופיע בקבצי הבנצ'מרק שבמאגר של המודל.

סקורינג-בנץ' ומהירות: מוביל גם במדדי כיול

ב-ScoringBench, שבוחן מודלי רגרסיה עם כלל ניקוד נאותים כמו CRPS לצד RMSE ו-R², נומס הגישה את קאוזילו 1.0.1 על 101 מאגרים, 5 קיפולים כל אחד, עם תקרה של 3,000 דגימות. החברה מדווחת על מקום ראשון ב-CRPS, R² ו-RMSE, ומתחזק הבנצ'מרק בדק את התוצאות עצמאית לפני שאישר אותן. במבחן מהירות וזיכרון על H100 יחיד עם 80 ג'יגה-בייט ו-8 ליבות CPU, קאוזילו היה המהיר ביותר גם ב-fit וגם ב-predict; TabPFN-3 צרך הרבה פחות זיכרון GPU. הפעלת use_kv_cache=True מעבירה את עבודת ההקשר לשלב ה-fit, צורכת יותר זיכרון כדי להאיץ ניבויים חוזרים.

דרישות והתקנה: פייתון 3.10 ומעלה, פייתורץ' 2.13

קאוזילו דורש פייתון 3.10 עד 3.12 ופייתורץ' (PyTorch) 2.13 ומעלה. ה-fit הראשון מוריד את הצ'קפוינט אוטומטית. ההתקנה פשוטה: pip install causilo, ואז ייבוא של CausiloClassifier או CausiloRegressor עם הפרמטרים הרצויים.