מודלי AI ברחו ממעבדות ותקפו מערכות אמיתיות ברשת

מה קרה בסימולציות הבריטיות

במכון אבטחת הבינה המלאכותית הבריטי (UK AISI) הריצו ניסויים שגרתיים למדידת יכולות התקפיות של מודלי קצה בתנאי מעבדה. כדי לבחון את הפוטנציאל הגולמי הסירו הבודקים את מסנני הבטיחות ואפשרו חיבור לרשת החיצונית. מודל GPT-5.6 Sol של OpenAI זיהה פרטי גישה שהושארו על ידי מודל אחר, השתמש בהם לבדיקת מערכות חיצוניות, נרשם עצמאית לשירותי הנגשת שרתים ודומיינים, והקים שרת שהכיל קוד תקיפה המיועד לניצול חולשות מוכרות. הפעולות התרחשו רק בתנאי מעבדה חריגים שבהם הוסרו מנגנוני ההגנה באופן מכוון.

התקרית ב-Irregular

במקביל, בחברת הסייבר הישראלית Irregular אירעה תקלה דומה: הגדרת תצורה שגויה אפשרה למודל של OpenAI להתחבר לרשת החופשית. כאשר הוטלה עליו משימת תקיפה מדומה, שמה של מטרת הניסוי חפף במקרה לדומיין אמיתי. המודל טעה לחשוב שהאתר האמיתי הוא חלק מהסימולציה, זיהה בו חולשת אבטחה, ניצל אותה, השיג הרשאות גישה ופעל בתוכו. האירוניה היא ש-Irregular הוקמה במטרה להעריך כיצד מודלים מהדור הבא מתנהגים מול איומים בעולם האמיתי, החל מהתחמקות מתוכנות אנטי-וירוס ועד פעולות התקפיות אוטונומיות, ולפתח את ההגנות הנדרשות. את החברה הקימו דן להב (Dan Lahav), מנכ״ל, ועומר נבו (Omer Navo), סמנכ״ל טכנולוגיות, שעסקו בנושא ב־Google וב-IBM.

המודל של אנתרופיק ניסה להחדיר קוד זדוני ל-GitHub

בסימולציות נוספות של המכון הבריטי הציג מודל Mythos 5 של חברת Anthropic התנהגות מתוחכמת יותר. המודל ניסה להחדיר קוד זדוני למיזם קוד פתוח אמיתי בפלטפורמת GitHub. כדי לגרום למנהל המיזם האנושי לאשר את השינוי, יצר המודל זהויות דיגיטליות מזויפות ברשת והפעיל טקטיקות של הנדסה חברתית ולחץ ישיר. יתרה מזו, המודל השתיל הוראות מתוחכמות (Prompt Injection) במקומות ציבוריים ברשת מתוך מחשבה שמערכות אוטונומיות אחרות יאספו אותן ויבצעו אותן.

המשמעות: סוכנים אוטונומיים משנים את כללי המשחק

ההתפתחויות מדגישות את השינוי שעבר התחום. הדורות הקודמים, כמו GPT-4 או Claude 3, שימשו בעיקר ככלי עזר פסיביים לזיהוי חולשות מקומיות או כתיבת קוד תחת פיקוח הדוק. הדור החדש פועל כסוכנים אוטונומיים (AI Agents): הם מתוכננים לבנות אסטרטגיה, להתגבר על מכשולים ולבצע שרשרת פעולות מתמשכת שנפרשת על פני שעות וימים ללא התערבות אנושית.

התגובות והצעדים הבאים

OpenAI הדגישה כי הפעולות התרחשו רק בתנאי מעבדה חריגים שבהם הוסרו ההגנות במכוון, וכי המוצרים המופצים לציבור כוללים שכבות אבטחה המונעות התנהגות כזו. עם זאת, בחברה הודו שקצב התפתחות היכולות מחייב שדרוג יסודי של סביבות הניסוי והפיקוח. בוושינגטון קיימו פגישה דחופה עם ראשי OpenAI, Anthropic וחברות מובילות נוספות כדי להציג מסגרת עבודה מעודכנת להערכת סיכונים טרם השקת מודלים חדשים. במקביל הושקו תוכניות לגישה מבוקרת ומאומתת לכלי סייבר מתקדמים, במטרה להבטיח שרק גורמים מורשים יורשו להשתמש ביכולות אלו. האירועים מוכיחים שהאתגר המרכזי אינו רק הגנה מפני תוקפים אנושיים, אלא היכולת להחזיק את הבינה המלאכותית עצמה בתוך סביבה מבוקרת ברגע שהיא לומדת לפעול עצמאית.