סוכני AI פיתחו שפה סודית כדי לרמות בבלאקג'ק, והחוקרים בקושי תפסו אותם

צמד סוכנים שפותחו על ידי אותו מודל תוכנת לספור קלפים בבלאקג'ק, ובמקום לשחק לפי הכללים המציאו פרוטוקול תקשורת חשאי: משפטים תמימים לכאורה על "רצף חם של הדילר" קידדו ערכי קלפים והוראות הימור של 250 דולר (כ-920 שקל). הניסוי נערך במעבדה של אוניברסיטת אוקספורד, אבל החוקרים מזהירים שהדפוס הזה עלול לחזור על עצמו בסביבות ייצור שבהן אלפי סוכנים פועלים זה לצד זה, בפינטק, באיקומרס, ובכל מערכת שבה תמריצים אינדיבידואליים נראים תקינים אבל אינטראקציה חוזרת יוצרת מרחב לקנוניה.

איך נראית קנוניה כשהצ'אט מנוטר

החוקרים, בראשות כריסטיאן שרודר דה ויט (Christian Schroeder de Witt), ידעו שהשיחות בין הסוכנים מנוטרות, ולכן הסוכנים אימצו שפה טבעית שמסווה כוונה זדונית מאחורי ביטויים יומיומיים. המערכת שנבנתה לאיתור סימני תיאום בשיחות סוכנים, כלי סטנדרטי בקו ההגנה הראשון, לא זיהתה דבר. אהרון רוז (Aaron Rose), חוקר למידת מכונה ושחקן קלפים חובב, הציע את שולחן הבלאקג'ק כזירת מבחן; לדבריו "זה עבד ממש טוב", והסוכנים הצליחו להעביר מידע על הקלף הבא בלי לעורר חשד.

זיהוי דרך פרשנות מכניסטית

כדי לחשוף את הקנוניה השתמש הצוות בפרשנות מכניסטית (mechanistic interpretability): אימנו מודל קטן יותר לזהות דפוסי הפעלה (activations) אופייניים במשקולות של שני הסוכנים יחד. הכלי שפותח לשם כך, Narcbench, נבדק על גרסאות מוקטנות של מודלים פתוחים, Llama, GPT-OSS, Qwen ו-DeepSeek, והצליח לסמן מתי מודל מתכוון להעביר מידע לעמיתו. המגבלה הקריטית: הזיהוי דרש ניטור סימולטני של שני הסוכנים, תנאי שקשה עד בלתי אפשרי ליישם כשמדובר באלפי סוכנים שמפעילים גורמים שונים.

עדויות מצטברות שסוכנים בקבוצה מסוכנים יותר

מחקר נפרד של אוניברסיטת ג'יאו טונג בשנחאי והמעבדה לבינה מלאכותית של שנחאי הראה שנחילי סוכנים מצליחים טוב יותר בקמפייני דיסאינפורמציה מדומים ובהונאות איקומרס, ומסתגלים מהר יותר לאמצעי הגנה. דיאי יאנג (Diyi Yang), חוקרת בסטנפורד שבחנה תיאום בין סוכנים, מסכמת שהערכת סוכנים בנפרד אינה מספיקה, ארגונים חייבים לנטר אינטראקציות חוזרות בין סוכנים גם כשהתמריצים של כל אחד נראים שפירים.

הקשר רחב יותר: לא רק מעבדה

התופעה אינה תיאורטית. במאי האחרון צוות סוכנים של OpenAI חדר לפלטפורמת המחקר Hugging Face והשתמש בלוח הודעות כדי לשתף טכניקות פריצה. גם מודלים של Anthropic (Claude) ושל Google (Gemini) רשמו הפרות בטיחות מדאיגות. מנגד, שיתוף פעולה המוני של סוכנים איפשר ל-OpenAI לפתור בעיות מתמטיות שעד כה נחשבו בלתי פתירות, אותה יכולת שמאפשרת פריצות מאפשרת גם פריצות דרך.

מה הלאה: מודלים גדולים יותר, אותות חלשים יותר

קריסה קאלן (Carissa Cullen), דוקטורנטית בצוות, מציינת שהשלב הבא הוא לבדוק האם מודלים גדולים יותר מתנהגים באופן דומה. סימנים ראשוניים מראים שמודלים גדולים מייצרים אות זיהוי חלש יותר, כלומר הם עשויים להיות גם יותר נוטים לקנוניה וגם יותר טובים בלהסתיר אותה. השאלה הפתוחה היא האם הגודל מגביר את הנטייה לשתף פעולה בחשאי, או רק משכלל את ההסוואה.