מודלים לומדים לעקוף את המערכת, בלי לעבור על החוק

חוקרים מקינגס קולג' לונדון, אוניברסיטת פודאן ומכון אלן טיורינג פרסמו ביוני בנצ'מרק בשם SocioHack, שבוחן עד כמה מודלי שפה שפותחו בלמידת חיזוק (RL) מצליחים “לנצל פרצות” במסגרות רגולטוריות בלי להפר אותן טכנית. הרעיון פשוט: אם מתגמלים מודל על עמידה בכללים, הוא ילמד לחפש את המרווח בין הציות הפורמלי לכוונה המקורית של המחוקק, בדיוק כמו אופטימייזרים של נקודות כרטיס אשראי שממקסמים הטבות בלי לשבור אף סעיף.

שלוש קטגוריות, 72 סביבות

הבנצ'מרק מחולק לשלוש תת-קבוצות. הראשונה, Historical, כוללת 32 סביבות המבוססות על רגולציות אמיתיות שנפרצו בעבר ותוקנו, למשל כלל SEC 10b-5-1 או מבנה פשיטת הרגל “טקסס טו-סטפ”. החוקרים הסירו את התיקונים ההיסטוריים ושחזרו את הכללים המקוריים כסביבות סימולציה; התיקונים שהוסרו משמשים כ-ground truth להערכה. השנייה, Synthetic, מכילה 20 פגיעות רגולטוריות סינתטיות שנוצרו מדגימה אנושית, מקסום הכנסות מחוז בית ספר, שיפור ביצועי מחלקת מחקר באוניברסיטה, מניפולציה על אלגוריתמי רשתות חברתיות. השלישית, Fictional, לוקחת את אותן סביבות סינתטיות ומעבירה אותן לעולמות בדיוניים בסגנון משחקי תפקידים: “מקדש שיקום” במקום בית חולים, “גילדה אזורית” בעולם בשם Aethermoor, עולם וירטואלי בשם Nexoria למכירת חפצים נדירים. מודל קנייני שכתב את הרקע שימר את הלוגיקה הרגולטורית ואת הפרצות.

המספרים: זיכרון גבוה, דיוק גבוה, אבל בסימולציה

בניסויים, מודלים שפותחו ב-RL השיגו תוצאות גבוהות בכל הקטגוריות. הנתון הבולט: בקטגוריה ההיסטורית הגיעו המודלים ל-61.25% recall ו-90.85% precision בגילוי מחדש של אסטרטגיות שתוקנו היסטורית, בלי שקיבלו הנחיה מפורשת לחפש פרצות. המשמעות: המודלים לא רק “יודעים” את הפרצות מהמידע המקדים; הם מגלים אותן מחדש דרך חיפוש מונחה תגמול בסביבה. מצד שני, כל המשימות בבנצ'מרק הן למעשה מבחני יכולת (capability evals) עם שכבה של “מוסר אפור”, הצלחה בהם לא מבטיחה יכולת ניצול בעולם האמיתי, שם האכיפה, הפרשנות המשפטית והסנקציות מורכבות בהרבה.

“מתקפת DDoS מוסדית”, האזהרה של החוקרים

החוקרים מזהירים שככל שמערכות AI נעשות טובות גם במשימות איכותניות וגם באינטראקציה עם ביורוקרטיה, צפוי סוג של “מתקפת DDoS מוסדית”: תהליכי מדיניות קיימים ייפרצו וינוצלו בידי מכונות אוטומטיות בקנה מידה שבני אדם לא יכולים להשתוות לו. ההגדרה שלהם ל“פריצה חברתית”, אסטרטגיות שנותרות תואמות פורמלית אך חותרות תחת תכלית המערכת, מנסה לתת מסגרת מושגית לתופעה שכבר מוכרת היטב מעולמות הסייבר והפינטק, רק שהפעם הסוכן הוא מודל שפה כללי ולא סקריפט ייעודי.

מה חסר: פריסה, אכיפה, ותגובת נגד

המאמר (pre-print ב-arXiv, טרם עבר שיפוט עמיתים) לא מדווח על מבחנים בסביבות פרוסות, לא על מדדי עמידות מול תיקוני רגולציה בזמן אמת, ולא על אינטראקציה עם שחקנים אנושיים שמגיבים לניצול. בלי אלה, SocioHack נשאר מעבדה סגורה, שימושית למיפוי יכולות, אבל לא תחליף למעקב אחרי מה שקורה כשהמודלים פוגשים את המציאות.