מודל חשיבה היררכי במשקל פתוח: HRM-Text-1B מגיע להאגינג פייס

חברת המחקר Sapient Intelligence שחררה להאגינג פייס צ'קפוינט של מודל שפה בן מיליארד פרמטרים שפותח על ארכיטקטורת HRM, Hierarchical Reasoning Model. בניגוד לטרנספורמרים סטנדרטיים שמעמיקים דרך שכבות נוספות, HRM מפעיל שני מודולי טרנספורמר נפרדים (H ברמה גבוהה ואיטית, L ברמה נמוכה ומהירה) שמריצים איטרציות חוזרות על אותם אמבדינגז של קלט, עם הזרקת מצב אדיטיבית ביניהם. התוצאה: עומק חישוב אפקטיבי בלתי מוגבל במספר פרמטרים קבוע.

ארכיטקטורה דו-סקאלית במקום ערימה עמוקה

המודל מבצע H_cycles כפול (L_cycles + 1) צעדי חישוב על אותו קלט, כאשר המודול האיטי מעדכן מצב גלובלי והמודול המהיר מעבד מקומית, והסכום של שניהם מוזרק חזרה בכל צעד. זהו שינוי כיוון מהגישה המקובלת של "עוד שכבות = יותר חשיבה", כאן העומק נוצר בזמן ריצה (inference-time compute) ולא בזמן אימון. הצ'קפוינט שוחרר כ-pre-alignment בלבד: הוא אומן על יעד PrefixLM עם טוקני תנאי (condition prefix tokens) אך לא עבר SFT, RLHF, התאמה לקונטקסט ארוך או כוונון לדיאלוג מרובה-תורות.

ארבעה מצבי תנאי, ואיך להשתמש בהם

ארבעה טאגים זמינים ברמת הטוקנייזר: direct (תשובה ישירה), cot (שרשרת חשיבה), noisy (סגנון רשת גולמי) ו-synth (סגנון סינתטי/מאוצר). הם ממופים לטוקנים מיוחדים ומוזנים כבלוק קידומת יחיד שמופרד מהתשובה במסגרת ▁…▁. למשימות NLP קלאסיות, סיווג, חילוץ, פלט מובנה, QA קצר, ההמלצה היא direct עם 2-8 דוגמאות few-shot בתוך הקונטקסט; זירו-שוט טהור חלש משמעותית. לחשיבה מתמטית או יצירה פתוחה יש להשתמש בקומפוזיט synth,cot (בסדר הזה), שמייצר את הקידומת <|quad_end|><|object_ref_end|> ומפעיל התנהגות דמוית CoT, אם כי איכותה לא אחידה ונופלת ממודל מכוונן-הוראות בגודל דומה.

דרישות הרצה ומסכת PrefixLM

המודל דורש transformers בגרסה 5.9.0 ומעלה, שכוללת תמיכה נייטיבית במחלקה hrm_text. בקוד הדגמה נטען המודל ב-bfloat16 ל-GPU, והקסם טמון ב-token_type_ids: ערכי 1 מסמנים טוקנים השייכים לבלוק הקידומת (prefix block) שבו הקשב דו-כיווני בתוך הבלוק; שאר הטוקנים מקבלים קשב סיבתי (causal). ללא השדה הזה המסכה לא תואמת את האימון והביצועים ייפגעו. הקוד המצורף מדגים יצירה דטרמיניסטית (do_sample=False) של עד 256 טוקנים חדשים.

נקודת התחלה, לא מוצר מוגמר

ב-Sapient Intelligence מדגישים שהצ'קפוינט נועד כנקודת מוצא לחוקרים ומפתחים שרוצים לבנות עליו alignment משלהם, SFT ו/או RL על דאטה ייעודי. היכולת האינסטרוקטיבית שמבצבצת תחת synth,cot מתוארת כתופעת לוואי של תערובת האימון המוקדם, לא כיכולת מובטחת. למי שמחפש עוזר צ'אט מוכן לשימוש (זה לא הכתובת; למי שחוקר ארכיטקטורות חשיבה חוזרות ורוצה משקלים פתוחים לניסויים) זה נקודת כניסה מעניינת במשקל נמוך יחסית.