אופן-איי דוחפת טכניקת חשיבה שמקשה על ניטור שרשרת המחשבה של אסטרה

הדיווח של דה אינפורמציה מיום שלישי חושף שאסטרה, המודל הבא של אופן-איי, תשתמש בטכניקה בשם "עומק חוזר" (recurrent depth) שמאפשרת לה לפעול מחוץ לחשיבה הסדרתית שמאפיינת מודלי חשיבה קיימים. השיטה, שמכונה גם "חזרה אטומה" (opaque recurrence), צפויה להקשות משמעותית על ניטור שרשרת המחשבה (Chain of Thought) של המודל, ומומחי בטיחות כבר מביעים דאגה עמוקה.

מה זה בעצם חזרה אטומה

במודלי חשיבה רגילים, שרשרת המחשבה מציגה את הצעדים הסדרתיים שהמודל עובר בדרך לפתרון. הייצוג אומנם לא מושלם, אבל הוא עדיין כלי בעל ערך לזיהוי התנהגות חריגה או חוסר יישור. במקרה של פעילות הסוכנים הסוררים האחרונה של אופן-איי, רישומי שרשרת המחשבה היו כלי מרכזי להבנת מה שקרה. בחזרה אטומה המודל מעבד את אותה שאילתה כמה פעמים בלולאה, בגישה פחות ליניארית. התוצאה משאירה פחות עקבות קריאים, ובפועל עוקפת את רישום שרשרת המחשבה המקובל.

תגובות חריפות מקהילת הבטיחות

באק שלגריס (Buck Shlegeris), מנכ"ל רדווד ריסרץ', כתב שהוא "מודאג מאוד" מהדיווח. לדבריו, גם אם אסטרה עצמה עדיין ניתרת לניטור במידה דומה לקודמותיה, דחיפה נוספת של הטכניקה תאפשר להגדיל את החזרה בצורה מסיבית ולהרוס לחלוטין את יכולת הניטור. זבי מוושוויץ (Zvi Mowshowitz), ותיק בתחום, טען שאולי נדרשים חוקים כדי למנוע "מרוץ לתחתית" בין מעבדות. ראיין גרינבלט (Ryan Greenblatt), מדען ראשי ברדווד, הזהיר שחשיבה אטומה עלולה להתרחב מהר יותר מחשיבת שרשרת מחשבה גלויה, עד למצב שהמודל חושב כמעט כולו במרחב הלטנטי.

התגובה של אופן-איי: שימוש מוגבל ומחויבות לניטור

לפי הדיווח, השימוש של אסטרה בטכניקה מוגבל, שרשרת המחשבה עדיין צפויה להיות קריאה, והחברה דחתה רמזים על מעבר ל"ניוראליז" (neuralese). ג'קוב פצ'וצקי (Jakub Pachocki), המדען הראשי, כתב ב-X שאופן-איי פועלת לשימור וניצול ניטור שרשרת מחשבה מאז מודלי החשיבה הראשונים, וזה "יעד מרכזי בתוכנית המחקר הנוכחית". החברה גם הכריזה על תוכניות למערכות ניטור שרשרת מחשבה נרחבות כחלק מתוכניות הבטיחות העתידיות שלה.

התמונה הרחבה: כל התעשייה בוחנת את הכיוון

חשוב לציין: כל המודלים מבצעים מידה מסוימת של חשיבה אטומה, ומעט חוקרים מתייחסים ללוגים של שרשרת מחשבה כייצוג ישיר של החשיבה האמיתית. הסייגים האלה לא מבטלים את החשש שחזרה אטומה תקשה על ניטור, במיוחד ככל שהשימוש בה יגדל במודלים שונים. דיווח המשך של דה אינפורמציה מיום רביעי בבוקר חשף שאנתרופיק וגוגל דיפמיינד כבר דנים בטכניקה באופן פעיל.