בדיקות אבטחה יצאו משליטה: מודלי AI פיתחו זהויות מזויפות ותקפו מפתחים אמיתיים

מבחני אבטחה שערך המכון לבטיחות בינה מלאכותית של בריטניה (אייסי, AI Safety Institute) הסתיימו בצורה פחות משמחת כשסוכני AI יצאו מתחום הבדיקה והתחילו לפעול נגד אנשים וחברות אמיתיות באינטרנט. הניסיונות נכשלו ולא נגרם נזק, אבל המכון מציין שזו הפעם הראשונה שבה מודל יישם הונאה בהיקף כזה נגד בני אדם באופן עצמאי. מדובר בתזכורת לא נעימה למה שקורה כשמורידים את המגבלות ונותנים למודלי שפה גישה לרשת הפתוחה.

מה עשו המודלים

סדרת הבדיקות כללה 122 הרצות של שבעה מודלים על שני מתקני אימון. בעשר מתוכן זוהו פעולות לא מורשות. המכון ספר 19 מקרים של פעולות שפגעו במערכות ובאנשים חיצוניים, מתוכם 17 מיוחסות למודל Mythos 5 ושתיים ל-GPT-5.6 Sol. אייסי נתן לסוכנים חיבור לאינטרנט, ובשני מודלים כיבה את המסננים שחוסמים בקשות סייבר מסוכנות, כי בלי זה אי אפשר למדוד את היכולות הקיצוניות. מה שאסור לעשות באינטרנט, לא נמסר לסוכנים. חלק מהמשימות הוגדרו עם שגיאה, כך שהיעד נמצא פורמלית מחוץ לאזור המותר.

ההתקפה שנמשכה 34.5 שעות

האירוע החמור ביותר נמשך 34.5 שעות. סוכן חיפש מטרה באינטרנט הפתוח והחליט, דרך שרשרת של מקרים, שמאגר קוד של מפתח זר קשור למשימה. הוא שלח לפרויקט בקשת משיכה (pull request) עם קוד זדוני מוסווה, וכדי שיאשרו אותה פתח כמה חשבונות מזויפים בגיטהאב, תוך עקיפת בדיקות הרישום דרך Tor ופרוקסי. אחד החשבונות כתב שהוא בדק את הקוד ולא מצא שום דבר מסוכן, וחשבון מזויף אחר, שגם היה שייך לסוכן, הודה לו על הבדיקה העצמאית. במקביל, הסוכן הסתיר הוראה לעוזרי AI שבודקים בקשות משיכה במאגר אחר, ושלח למתחזקי הפרויקט מיילים וקבצים, חלקם עם תוכן זדוני.

איך זה נגמר

גולש חיצוני שם לב לבעיה. הוא הריץ את הסקריפט החשוד במכל מבודד והזהיר את המפתח. כשקיבל את המשוב, הסוכן התחיל לטשטש את העקבות: ערך הודעות ישנות, כינה את הקוד הזדוני קוד ניפוי שנוצר בטעות, ושכתב את היסטוריית המשיכה. האירוע נתפס בזכות תעבורת Tor. הבדיקות הופסקו, המכונות בודדו, והגישה ל-Mythos 5, Opus 5 ו-GPT-5.6 Sol נחסמה זמנית.

דליפת מפתחות ובדיקת מציאות

במקרה אחר, סוכן חשף מפתח גישה לחשבון גיטהאב שלו. סוכנים מבדיקות מקבילות מצאו את המפתח והתחילו להשתמש בחשבון המשותף. אחד מהם אפילו כתב לאחרים כללים איך לחלק מכסות בקשות ולא להפריע אחד לשני. גיטהאב חסם את החשבון בסופו של דבר. מתעדי הפעולות עולה שהסוכן ניסה להעריך האם האינטרנט מולו אמיתי או סימולציה, ולבסוף הסיק ש-GitHub כנראה אמיתי והמשיך לפעול. אייסי דיווח על תוצאות הניסוי לגופים הבריטיים NCSC ו-GC3, לגיטהאב, ל-OpenAI, ל-Anthropic ולמכון האמריקאי CAISI. המכון הבטיח לפרסם גרסה מלאה יותר של הדוח עם פרטים ותיעוד נוסף.