מערכת דיווח תקלות אחת שתחליף עשרות טפסים שבורים

חוקרים שמגלים פגם במודל שפה או במערכת AI פרוסה נתקלים היום במבוך: אין כתובת אחת, אין פורמט אחיד, ואין הבטחה שהמידע יגיע למי שצריך לתקן. המאמר FLARE-AI שפורסם ב-arXiv מציג מערכת קוד פתוח שנבנתה בדיוק לבעיה הזו, פלטפורמה יחידה ליצירת דוח תקלה תקני והפצתו אוטומטית למספר מפתחים, מתאמי אבטחה ורישומי תקריות בו-זמנית.

הבעיה: אקוסיסטם מפורר

הצוות סקר 12 מערכות דיווח קיימות, של מפתחי מודלים, גופי סייבר ואגרגטורי פגמים, וזיהה חמישה כשלים חוזרים: קושי בגילוי הכתובת הנכונה, הגדרת היקף עמומה, איסוף מידע חלקי, חוסר תיאום בין מקבלי הדוחות, והנחיות חסרות למקרים של אחריות מוחלטת. התוצאה בפועל: מדווחים בתום לב ממלאים טפסים שונים לאותו פגם, ומקבלים נותרים עם מידע לא סטנדרטי שקשה למיין (triage).

תהליך התכנון: 49 מומחים, 32 ארגונים

כדי לא להחליף ניחוש בניחוש, החוקרים אספו משוב מ-49 מומחים המייצגים 32 ארגונים, מפתחים, חוקרי אבטחה ומתאמי אקוסיסטם. התובנות מהסבב הזה עיצבו את הארכיטקטורה של FLARE-AI: לוגיקה מותנית שמנחה את המדווח רק לשדות הרלוונטיים, סיווג מוקדם של סוג הפגם, וייצוא דוח קריא מכונה (machine-readable) בפורמט אחיד שניתן לשלוח למספר נמענים מהגשה אחת.

איך זה עובד בפועל

המדווח ממלא טופס יחיד שמתאים את עצמו בזמן אמת: בוחרים קטגוריית פגם, והמערכת מציגה רק את השדות הנדרשים לאותו סוג, למשל פרטי פרומפט מזיק, פלט בלתי צפוי, או דליפת מידע אישי. עם השליחה, FLARE-AI מייצר חבילת JSON סטנדרטית ומאפשר הפצה אופציונלית לרשימת נמענים מוגדרת מראש: המפתח הרלוונטי, גוף תיאום כמו CERT, ורישום תקריות ציבורי. הכל בקוד פתוח, בלי תלות בספק יחיד.

מחפשים בית ארגוני

החוקרים מציינים במפורש שאין להם רוחב פס (bandwidth) לתחזק את הפרויקט לאורך זמן כפרטים, ומחפשים ארגון עצמאי שייקח עליו בעלות מלאה. זו נקודה קריטית: בלי גוף שמחויב לאחסון, עדכוני אבטחה וניהול גרסאות, המערכת עלולה להפוך לעוד פרויקט GitHub נטוש, בדיוק סוג הפרגמנטציה שהיא נועדה לפתור.

למה זה משנה

הערך האמיתי אינו בטכנולוגיה כשלעצמה, אלא באמנה (convention) שהיא מנסה לקבע: פורמט דיווח יחיד, שפה משותפת למפתחים ומתאמים, ומסלול ברור מתגלית לתיקון. אם יצליח, FLARE-AI יהפוך את "איפה מדווחים?" משאלה פתוחה לברירת מחדל טכנית, וזה, יותר מכל בנצ'מרק, מה שמקדם בטיחות AI בפריסה רחבה.