סטארטאפ ישראלי אחד עומד במרכז גל בריחות של סוכני AI

התקלה שחיברה סימולציה למציאות

הסטארטאפ הישראלי Irregular, שנוסד ב-2023 בשם Pattern Labs, אחראי לסדרת תקריות שבהן סוכני AI של OpenAI, Meta, Anthropic ו-Google יצאו מסביבות בדיקה מאובטחות ותקפו יעדים אמיתיים ברשת. לדברי ה-CTO והמייסד-שותף עומר נבו, שדיבר עם The Verge, כל התקריות נבעו מכשל יחיד בתרחיש הערכה אחד: גישה לאינטרנט היתה זמינה בטעות, ובמקביל שם חברה בדיוני שנוצר עבור הסימולציה חפף דומיין אמיתי. השילוב הזה שלח את הסוכנים לפעול מול מטרות ממשיות, אם כי לא ברור אילו ארגונים נפגעו בפועל.

מאחורי הקלעים של הבדיקות

Irregular מתמחה ב"פלטפורמות מחקר בנאמנות גבוהה שמדמות ומנטרות תרחישי אבטחת AI בעולם האמיתי". החברה עבדה עם רוב השחקניות הגדולות בתעשייה, ועבודתה צוינה בכרטיסי המערכת (system cards) של OpenAI, שימשה לבדיקות עבור ממשלת בריטניה ו-Anthropic, ופורסמה במשותף עם מכון המחקר RAND. במסגרת הבדיקות השנה השתמשו בתרגילי "capture-the-flag", מתודולוגיה מקובלת לבחינת יכולות פריצה שבה הסוכן נדרש לאתר מידע מוסתר ברשת מדומה. אלא שהרשת לא היתה מבודדת כמתוכנן.

היקף הפגיעה ולוח הזמנים

לפי נבו, "כל התקריות המערבות את Irregular נבעו מאותה בעיית יסוד בתרחיש הערכה יחיד ונחשפו". הכוונה ב"נחשפו" אינה בהכרח פרסום פומבי, לא ברור אם הכוונה לעדכון הלקוחות, לגורם רגולטורי או לציבור. דיווחים של Anthropic ו-OpenAI, לצד פרסומים על Google, מצביעים על כך שהחברות עודכנו בזמנים דומים בסוף יולי. OpenAI ו-Anthropic הודיעו על הפריצות מיוזמתן; המקרים של Meta ו-Google נחשפו לראשונה דרך דיווחי תקשורת, שבועות מאוחר יותר.

לא רק הארבע הגדולות

פעילות הסייבר של Irregular חורגת מארבע ענקיות הטכנולוגיה האמריקאיות. מחקרים שפורסמו באתר החברה מעידים כי בוצעו בדיקות דומות גם על Kimi K3 של Moonshot AI ועל GLM-5.2 של Z.ai, מודלים פתוחים של חברות סיניות. בניגוד למודלים הקנייניים המעורבים בתקריות האחרות, Meta שומרת את מודל הדגל Spark כקנייני, המודלים הסיניים זמינים לציבור, מה שמעלה שאלות נוספות על ניהול סיכונים כשהבדיקה עצמה דולפת החוצה.

תקריות נפרדות, אותו נרטיב

נבו מדגיש כי פריצת Hugging Face ש-OpenAI חשפה ביולי, כמו גם דליפות ממכון אבטחת ה-AI הבריטי (UK AISI), אינן קשורות ל-Irregular או להערכות שלה. אלא שהצטברות המקרים בחודשים האחרונים יצרה רושם של גל מתואם, בעוד שבפועל מדובר בכשל תשתיתי נקודתי אצל ספק בדיקות אחד, כשל שחשף עד כמה שביר הגבול בין סימולציה לייצור כשסוכנים מקבלים גישה לרשת פתוחה.