פרפליקסיטי משחררת מודל הטמעה קונטקסטואלי שמאחזר תשובות עם הראיות שלהן

הבעיה עם צ'אנק בודד

פרפליקסיטי (Perplexity) וטורבופאפר (turbopuffer) השיקו את pplx-embed-v2-context-9b-preview, מודל הטמעה (embedding) קונטקסטואלי לצנרת RAG, מערכות ששולפות מידע ממסמכים כדי לענות על שאילתות. החידוש המרכזי אינו בארכיטקטורה אלא באות האימון: במקום לסמן צ'אנק (chunk) "זהב" יחיד לכל שאילתה, המודל לומד לאחזר את התשובה יחד עם ההקשר שנדרש כדי לאמת אותה. בגישה המסורתית, צ'אנקים שתלויים בכותרת, הגדרה או ישות שמופיעה במקום אחר במסמך הופכים לשליליים כפויים, אף שהם חיוניים לבדיקת התשובה.

מורה רך במקום תווית קשיחה

המורה באימון הוא מודל דחיסת הקשר מודע-שאילתה של פרפליקסיטי, שמקבל שאילתה ומסמך יחד ונותן ציון לכל טוקן (token). הרלוונטיות של כל צ'אנק מחושבת כממוצע הציונים הגבוהים ביותר בתוכו, והמטרות הרכות (soft targets) נוצרות באמצעות סופטמקס (softmax) ממותח-טמפרטורה על פני הצ'אנקים במסמך החיובי, צ'אנקים במסמכים אחרים מקבלים אפס. אובדן הדיסטילציה (distillation) הוא התבדלות קולמוגורוב-ליבולר (KL divergence) קדימה בין התפלגות המורה לזו של התלמיד, ואובדן המסמך משתמש ב-InfoNCE כשהמסמך מיוצג על ידי הצ'אנק הטוב ביותר שלו, בהשראת MaxSim של ColBERT. בכל אצווה (batch) נבחרת אסטרטגיית צ'אנקינג אקראית, והצ'אנקים מופרדים בטוקן נלמד <|chunk_sep|> ועוברים מין-פולינג (mean pooling); המורה רץ רק באימון, כך שאין תוספת השהייה (latency) או אחסון באינפרנס (inference).

ארכיטקטורה ונתוני אימון

המודל מתחיל ממודל אחזור (retrieval) מסוג ColBERT בן 9 מיליארד פרמטרים שפותח בבית, עם הקרנה ליניארית ל-2,048 ממדים; אימון מטרושקה (Matryoshka) תומך גם ב-1,024 ממדים, ואימון מודע-כימות (quantization-aware) מאפשר הטמעות int8 טבעיות. הגרסה המשוחררת היא "מרק מודלים" (model soup) של כמה צ'קפוינטים (checkpoints). האימון הקיף כ-430 מערכי נתונים בלמעלה מ-50 שפות, ללא נתוני ConTEB.

בנצ'מרק ויעילות

בסוויטת context-bench, 2,099 שאילתות, 38,894 מסמכים, 2.46 מיליון צ'אנקי משפטים, דירוג ממצה, המודל ב-1,024 ממדים עם כימות int8 (קילובייט אחד לווקטור) עוקף קלות את voyage-context-4 ב-2,048 ממדי float32 (8 קילובייט לווקטור) במדד nDCG@10 ממוצע. ערכי Voyage חושבו על ידי פרפליקסיטי כהפרש מהפער המוצהר (14.4 ו-5.0 נקודות); מדדי Voyage נוספים מופיעים רק בגרף של החברה ולא פורסמו בנפרד.

זמינות וסייגים

המשקלים (weights) זמינים ב-Hugging Face תחת רישיון MIT, נדרשת גרסת transformers 5.4.0 ומעלה עם trust_remote_code=True. המודל עדיין לא נגיש דרך ה-API של פרפליקסיטי, וכרטיס המודל מציין שהמשקלים והממשק עשויים להשתנות בלי תאימות לאחור. מדובר בתצוגה מקדימה (preview) לאירוח עצמי (self-hosted), לא בגרסה סופית לפרודקשן.