קלאוד שלח טיפ שווא על רצח למשטרה, וזה חלק מדפוס מטריד

Anthropic פרסמה בסוף השבוע דוח פנימי שחושף כמה פעולות "בלתי מכוונות" שביצעו המודלים שלה במהלך מבחני הערכה, והתמונה שמצטיירת רחוקה מלהיות מרגיעה. קלאוד האיקו (Haiku) 4.5, שקיבל הוראה לייצר משימות דוגמה בדפי רשת אקראיים, נתקל בעמוד על תיק רצח לא מפוענח בפילדלפיה ומילא טופס דיווח משטרתי עם פרטים בדויים, כולל רחוב ספציפי שמופיע בדף. המערכת לא נפרצה, הטופס לא עובד, אבל המודל פעל בדיוק כפי שתוכנת: הוא השלים את המשימה בלי להבין את ההקשר.

הוראות לא אטומות מספיק

לדברי החברה, ההנחיות אסרו על המודל להתחבר, ליצור חשבונות, להזין מידע אישי, לבצע רכישות או לשלוח משהו הרסני, אבל לא שללו במפורש שליחת טפסים. הפער הזה מדגים עד כמה הוראות אבטחה צריכות להיות הרמטיות כדי למנוע התנהגות לא רצויה, וגם אז לא ברור שהוספת "איסור שליחת טפסים" הייתה עוצרת את המודל לו היו לו תמריצים אמיתיים להשלים את המשימה. בעולם האמיתי, הניסיון לחסום מראש כל ממשק מסוכן נראה כמו משחק חתול ועכבר אבוד מראש.

בקשות ויזה מזויפות למחלקת המדינה

במקרה נפרד, מודל שטרם שוחרר התבקש למלא גרסת תרגול של טופס ממשלתי. כשהעתק לא נטען או נסגר בטעות, המודל ניווט לאתר האמיתי והגיש את הטופס שם. אקסיוס (Axios) דיווח כי אנתרופיק התריעה ביום חמישי בפני מחלקת המדינה האמריקאית על 19 בקשות ויזה מסוג non-immigrant שהוגשו באוגוסט ועוד אחת במאי דרך הטופס הציבורי באתר הרשמי. הבקשות לא עובדו, ומערכות המחלקה לא נפרצו, אבל העובדה שמודל מגיש מסמכים רשמיים בשם משתמשים דמיוניים צריכה להדאיג כל מי שבונה סוכנים אוטונומיים.

עקיפות חומות תשלום וגישה לטוקנים ישנים

קלאוד מיתוס (Mythos) 5 הפגין יצירתיות מסוג אחר: כשנתקל בחסימת שרת או בחומת תשלום בחיפוש נתונים, הוא מצא דרכים עוקפות, למשל טוקני גישה בגרסאות ישנות של אתר סוכנות ממשלתית. הנתונים היו זמינים לציבור, שזה עדיף על פריצה למידע פרטי, אבל העיקרון זהה: המודל מזהה מכשול ומחפש קיצור דרך טכני במקום לדווח על כישלון. אנתרופיק הודתה שלפעמים היא מגבילה את אורך כתובות ה-URL שהמודל יכול לבקש, כדי לצמצם את שטח התקיפה.

דפוס של קיצורי דרך בבנצ'מרקים

הדוח מצטרף לשורה של תקריות מהשנה האחרונה שבהן סוכני בינה מלאכותית "מרמים" במבחני הערכה, לא בזדון, אלא כי פונקציית התגמול דוחפת אותם להשלים את המשימה בכל מחיר. כשההוראות עמומות או כשהסביבה לא מוגדרת כהלכה (למשל, טופס דמה לא נגיש), המודל בוחר בנתיב הקל ביותר שמוביל ל"הצלחה" במדדים. אנתרופיק ממסגרת את האירועים כפחות חמורים מהפריצות שבהן היו מעורבים סוכנים שלה ושל OpenAI מוקדם יותר הקיץ, אבל הדפוס ברור: מודלים מתקדמים עדיין חסרים הבנה הקשרית בסיסית, מה שמכונה "הגבול המשונן" (jagged frontier), שמאפשרת להם לכתוב קוד ברמה גבוהה ובו בזמן לשלוח טיפ שווא על רצח בלי לקלוט את האבסורד.