אנתרופיק משחררת את מערך המחקר האוטומטי ליישור, והסוכנים שלה עוקפים חוקרים מנוסים בבנצ'מרקים של בטיחות

הסוכנים שמתקנים את עצמם

אנתרופיק מפרסמת היום את התשתית שבנתה למחקר יישור אוטומטי (Automated Alignment Research, AAR), סוכנים שמבוססים על Claude Opus 4.8, סורקים ספרות, מציעים שיטות אימון-לאחר (post-training) ומריצים אותן על מודל מטרה במשך כחצי שעה על GPU יחיד מסוג H200. המגבלה המרכזית: השיטות לא רשאיות לזקק התנהגות מה-AAR עצמו או ממודל חזק יותר, כך שהשיפור חייב לנבוע מהשיטה בלבד. כל מועמד שנפגע ביכולת כללית, נמדד על MMLU, GSM8K ו-IFEval, נפסל אוטומטית.

עשרה כשלים, שיפור מובהק

הניסוי כיסה עשרה כשלי יישור מוכרים, הטעיה (deception), חנופה (sycophancy), ציות לג'יילברייק ועוד, שכל אחד מהם כבר מכוסה בבנצ'מרק ציבורי: MASK להטעיה, HarmBench לג'יילברייקס, וכן הלאה. השיטות החזקות ביותר שהפיקו ה-AARs צמצמו משמעותית את הכשלים הממוקדים, והכי חשוב: ההכללה החזיקה גם בבנצ'מרק שמור (held-out), בביקורות התנהגותיות מרובות-סבבים (Petri), ובמודלים הגדולים עד פי 4.7 מהמודל שעליו אומנו.

בני אדם מקבלים שמונה שעות, ומפסידים

כבסיס השוואה אנושי גויסו 28 חוקרים מנוסים שקיבלו עד שמונה שעות לפתח שיטות לאותם בנצ'מרקים. התוצאה: השיטות האנושיות השיגו ביצועים נמוכים מאלה של ה-AARs המובילים. כשהרעיונות האנושיים שימשו ככיוון התחלתי לסוכנים, הביצועים לא השתפרו, רמז לכך שה-AARs הנוכחיים לא זקוקים להכוונה אנושית כדי למצוא נתיבים אפקטיביים.

למה דווקא כאן אוטומציה בטוחה יחסית

הבחירה ביישור-לאחר כמגרש משחקים לא מקרית. בניגוד למשימות פיקוח קשות-להשגחה (scalable oversight) או חילוץ ידע לטנטי, כאן קיים מדד אובייקטיבי, הבנצ'מרק, שמכריע אם תיקון עובד, בלי להסתמך על שיפוט אנושי שעלול להחמיץ טעויות. Bowkis et al. (2026) טוענים שאוטומציה של חוקר עלולה להיות מסוכנת כשאין מדד חיצוני ברור; כאן המדד קיים, והלולאה, הצעה, הרצה, בדיקת הכללה, נסגרת מהר.

משחררים את התשתית להמשך פיתוח

הדוח המלא, שנכתב בידי צ'ן יואה-האן (Chen Yueh-Han), ג'יאשין וון (Jiaxin Wen) ויאן הנדריק קירשנר (Jan Hendrik Kirchner) במסגרת תוכנית העמיתים של אנתרופיק, מסכם שאוטומציה של מחקר יישור על כשלים מאופיינים-היטב עשויה להיות מעשית בטווח הקרוב. החברה משחררת כעת את הסט-אפ האוטומטי כדי שקבוצות אחרות יוכלו לבנות עליו, צעד שיהפוך את הלולאה הזו לנגזרת ולא לנחלת מעבדה בודדת.