בינה מלאכותית כמעט גררה את ארצות הברית למבצע צבאי מול סין

המטוסים כבר היו באוויר

מטוסי קרב אמריקאיים כבר המריאו לעבר כלי שיט סיני באביב האחרון כשהתגלה שהמודיעין שהניע את המבצע החמוש נוצר כולו על ידי הזיה של צ'טבוט. המבצע בוטל ברגע האחרון ומנע עימות אפשרי עם בייג'ינג, כך דיווחה CNN ביום שישי. האירוע חושף עד כמה מהר יכולה טעות של מודל שפה לטפס במעלה שרשרת הפיקוד בלי שאיש יעצור לשאול שאלות.

איך נולדה הידיעה הכוזבת

הדו"ח המודיעיני, שהסתובב בצמרת בזמן הלחימה מול איראן, טען שהספינה נושאת רכיבים לתוכנית גרעין צבאית. מקור הטעות היה אנליסט של פיקוד המבצעים המיוחדים שביקש ממודל שפה לעבד מודיעין גלוי יחד עם אותות מסווגים. המודל זיהה לא נכון את מניפסט המטען, והאנליסט הריץ אותו שוב כדי לעצב את הממצאים השגויים לסיכום רשמי למראה שהופץ בערוצי הפיקוד.

המהירות שמפתה וגם מסכנת

הפנטגון דוחף להטמעה מואצת של בינה מלאכותית כדי לקצר את "שרשרת ההרג" ולשמור על יתרון מול סין, אבל אותה מהירות בדיוק מאפשרת להזיות לחמוק בלי פיקוח אנושי מספק. כשהמערכת מייצרת פלט שנראה משכנע, הקלות שבה הוא מאומץ כתוצר מודיעיני לגיטימי הופכת למכפיל סיכון.

"החיים והמוות תלויים בזה"

ג'ייק סטקלר (Jake Steckler), חוקר ב-GovAI וקצין צבא אמריקאי לשעבר, אמר בתגובה ל-TechCrunch שחיילים חייבים להבין את אי-הוודאות המובנית במודלי שפה גדולים, ובמיוחד כשההחלטות נוגעות לשימוש בכוח, מיקוד מטרות, ניתוח מודיעין או תכנון מבצעי. לדבריו, התקרית צריכה לשמש קריאת השכמה להוספת הגנות, לא סיבה לוותר על הכלים; תעדוף מהירות אימוץ על פני בטיחות רק ישחק את האמון ויאט את ההטמעה בטווח הארוך.