אורביט של טייגר ופלום: שמירה על שפה טבעית במודלים ממוזגים

במאמר החדש של טייגר ופלום, שכותרתו ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging, מתמקדים בבעיה שהמנגנון של התאמת מודלים לשאלות המלצה פוגע ביכולת השיחה הטבעית של המודל, ולהפך – אם לא מתאמנים על משימות ההמלצה, האיכות של ההמלצות נפגעת. הפתרון שהם מציעים הוא גישה שבה מודל שיחה – במקרה זה גרסה של Gemma3 בגודל מיליארד פרמטרים – מתמזג עם גרסה שעברה התאמה למשימות המלצה, תוך כדי שמירה על היכולת השפתית.

ב‑PLUM, שהייתה הקודמת של הפיתוח, בוצע תהליך של שני שלבים: תחילה המודל למד להבין קטלוגים דרך משימות של חיזוי הפריט הבא ושחזור מטא‑נתונים של פריט לפי מזהה סמנטי, ולאחר מכן עבר שלב של התאמה למודלים גנרטיביים של שליפה (generative retrieval). דוגמאות מהשלב הראשון הראו שהמודל עדיין שולט בשפה הטבעית, אך לא ניתנו דוגמאות מהשלב השני, מה שהשאיר רושם שהיכולת השפתית עלולה להידרדר לאחר ההתאמה לשאלות ההמלצה.

במאמר החדש, במקום לבצע התאמה של המודל לשאלות ההמלצה רק בסוף האימון, המחברים מציעים להשתמש באיחוד פרמטרים (model merging) – תהליך של ממוצע משקלי של כמה נקודות שמירה של המודל. הם לוקחים את נקודת השמירה של המודל השיחתי המקורי (Gemma3 1B) וממזגים אותה עם גרסה שעברה התאמה לשאלות המלצה, כאשר האיחוד מתבצע באופן מחזורי במהלך האימון ולא רק בסופו. כך, כאשר האיחוד מתבצע מדי כמה צעדי עדכון, המודל מצליח לשמר את היכולת לשיחה בטבעיות ובמקביל לשפר את ביצועי ההמלצה.

החידוש המרכזי הוא מה שמכונה Origin‑Regulated Merging, גרסה משופרת של שיטת Soup‑to‑go משנת 2022. המחברים מדגישים שהמרחק של המודל מהגרסה השיחתית המקורית (בין מרחק אוקלידי לבין אחוז הפרמטרים שמשנים סימן) גדל ככל שהאימון מתקדם, והיכולת הטקסטואלית פוחתת. לכן הם קבעו סף למרחק זה, כך שכל פעם שהמודל חורג מהסף, הוא מתמזג מחדש עם המודל השיחתי המקורי. באופן זה, האיחוד מתרחש בתדירות גבוהה בתחילת האימון ויורד בהדרגה ככל שהמודל מתקרב למצב הסופי.

הערכת הביצועים נעשתה על קבץ הנתונים של Amazon reviews, תוך שימוש בחלוקה leave‑one‑out והיסטוריית משתמש של 20 אירועים בלבד. התוצאות, שהוצגו בטבלאות ובגרפים במאמר, מראות שהמודל המשולב מצליח לשמור על רמת שיחה דומה לזו של המודל המקורי, ובמקביל משיג שיפור ניכר במדדי ההמלצה. כך נוצר מודל שמסוגל לשוחח בטבעיות ולספק המלצות מדויקות, מבלי לוותר על אחת מהיכולות.