דוח מודיעין שפותח על ידי צ'אטבוט כמעט הוביל לעימות צבאי עם סין

הזיה שהפעילה את הצבא

דוח מודיעין שפותח בסיוע בינה מלאכותית הקפיץ את הצבא האמריקאי באביב האחרון ליירט ספינה סינית במזרח התיכון, בטענה שהיא מובילה רכיבים של תוכנית נשק גרעיני. לפי ארבעה מקורות שמכירים את האירוע, תוכניות המבצע הגיעו לשלב שבו חיילים חמושים התכוננו לעלות על הסיפון ומטוסים כבר היו באוויר. רק ברגע האחרון התברר שהדוח, שהופץ בפיקוד המבצעים המיוחדים, נוצר בעזרת צ'אטבוט שזיהה לא נכון את המטען. הדוח היה "כוזב לחלוטין", לדברי אחד המקורות, אבל גם "כמעט פתח במלחמה".

איך נוצר הדוח הכוזב

האנליסט בפיקוד המבצעים המיוחדים פסיפיק, שממוקם בהוואי, שאיל את הצ'אטבוט על דיווחי מודיעין בנוגע למניפסט של הספינה. לא ברור אם הכלי היה מוצר מסחרי או מערכת ממשלתית, אבל גורם בכיר לשעבר תיאר את הכלים הפנימיים כ"העתקות של הדברים המסחריים עם שפתון". הבוט מיזג מודיעין גלוי עם מודיעין אותות (SIGINT) מסווג ממאגרי הממשלה והגיע למסקנה השגויה לגבי המטען. אחר כך השתמש האנליסט בבינה מלאכותית שוב כדי לארוז את הממצאים בדוח מודיעין תקני, הפורמט שקצינים סומכים עליו, והפיץ אותו הלאה.

האצה בלי בלמים

התקרית חושפת את הסיכון שבהטמעה מואצת של מודלי שפה גדולים (LLM) בתהליכי קבלת החלטות מבצעיים. בינואר פרסם שר ההגנה פיט הגסת' את "אסטרטגיית האצת הבינה המלאכותית" של הפנטגון, שדורשת להנגיש את הטכנולוגיה בכל הזרועות, מבחירת מטרות לתקיפה ועד ניהול לוגיסטיקה ותקציב. הרציונל הרשמי: הצבא חייב להחליט מהר יותר מיריבים פוטנציאליים כמו סין. בפועל, האסטרטגיה דוחפת פריסה רחבה לפני שהמנגנונים לאימות והסבר (explainability) הבשילו.

כשהכלי מחליט בשבילך

הבעיה אינה רק הזיה נקודתית. כשאנליסט משתמש בצ'אטבוט כדי לפרש חומר גלם, ואז משתמש בכלי נוסף כדי לנסח את התוצר הסופי, שרשרת האמון נשברת פעמיים: המודל הראשון עלול להמציא קשרים שלא קיימים בנתונים, והשני עלול לעטוף את השגיאה במעטפת מקצועית שמסתירה את המקור. בפיקוד המבצעים המיוחדים ובפנטגון סירבו להגיב לפניית CNN. בינתיים, קהילת המודיעין ממשיכה לדחוף את הטכנולוגיה לכל פינה, בלי מנגנון עצירה ברור כשהמודל טועה בביטחון מלא.