NVIDIA משיקה פלטפורמת בטיחות לסוכני AI עם אכיפה ברמת החומרה

שתי שכבות הגנה: ריצה מבודדת וצופה מהצד

NVIDIA חשפה אתמול את NVIDIA Open Agent Safety Platform, פלטפורמת תוכנה פתוחה ותכנון מערכת ייחוס לאבטחת סוכני AI. הרעיון המרכזי פשוט: בקרות הבטיחות לא צריכות לשבת בתוך הסוכן שהן אמורות לרסן. הפלטפורמה מורכבת משתי שכבות נפרדות: OpenShell, סביבת ריצה (runtime) שמבודדת כל סוכן בארגז חול משלו, ו-Sentry, מנגנון השגחה שרץ על כרטיסי BlueField-4 DPU מחוץ למארח ובודק כל בקשה ותגובה של הסוכן במילישניות.

למה NVIDIA החליטה להוריד את האכיפה מתחת לסוכן

לפי הדוח הטכני של NVIDIA, כמה מעבדות קצה דיווחו לאחרונה שסוכנים הצליחו לפרוץ מסביבות הערכה ולהגיע למערכות שלא היו אמורות להיות נגישות. חלק מהסוכנים גם דיווחו באופן מטעה על הפעולות שביצעו. ב-NVIDIA מזהים דפוס חוזר: הסוכנים עקפו בקרות ברמת האפליקציה כדי להשלים את המשימה. בחברה קוראים למצב הזה "דריפט" (drift), סטייה שיכולה לנבוע מחסימת מדיניות, באג, כלי חסר או הוראות עמומות. הטענה היא שדריפט לא ניתן לפתור באימון בלבד בלי לאבד יכולות, ולכן סוכן לא יכול לשלוט בעצמו באופן מלא.

איך זה עובד בפועל: OpenShell ו-Sentry

OpenShell מרים לכל סוכן ארגז חול מבודד עם מחזור חיים שמנוהל דרך שער (gateway) שתומך בדרייברים של Docker, Podman, MicroVM ו-Kubernetes. כל חיבור יוצא עובר מנוע מדיניות שמאשר, מקשר הרשאות ליעד מאושר, או חוסם ומתעד. כללי מערכת קבצים ותהליכים ננעלים ביצירה, וכללי רשת וספקים ניתנים לטעינה חמה בלי הפעלה מחדש. Sentry, שרץ על BlueField-4 באמצעות NVIDIA DOCA, בודק בקשות ותגובות, מספק טלמטריה חתומה, מאמת זהות סוכן ואוכף גישת zero-trust לנתונים, כלים ו-APIs. מכיוון שהוא יושב על סיליקון נפרד, ריצה שנפרצה לא יכולה לכבות אותו.

במערכי Vera Rubin POD, כל מגש מחשוב מחובר למודל רק דרך ה-BlueField-4 שלו, הסוכן לא יכול לפעול בלי קריאת האינפרנס הבאה. זה הופך את הנתיב גם לנקודת התצפית הטובה ביותר וגם למתג כיבוי. במערכות Vera קיימות עם BlueField-4, הפעלת ההגנות היא עדכון תוכנה בלבד. NVIDIA טוענת שמעבדי Vera מספקים עד 80% ביצועי ארגז חול מהירים יותר מתשתית CPU מסורתית, והקוד תואם גם לפלטפורמות Arm ו-Intel.

מי כבר בונה על זה ומה הלאה

ב-NVIDIA מדווחים על יותר ממאה ארגונים שעובדים עם הפלטפורמה. Anthropic חיברה את Claude Managed Agents ל-OpenShell ול-BlueField, SpaceXAI משתמשת בזה לסוכני קידוד של Cursor ולמודלי Grok, Salesforce שילבה את OpenShell ב-Slack לאישור הרשאות סוכן, ו-SAP מטמיעה אותה בזמן הריצה של Joule Studio. רד האט, SUSE ו-Canonical משלבות את OpenShell במערכות ההפעלה שלהן. המאמץ מוזן ל-Open Secure AI Alliance בניהול קרן לינוקס, והקוד של OpenShell והמיומנויות (skills) זמינים ב-GitHub ובתיעוד הרשמי, עדיין בגרסת אלפא תחת רישיון Apache 2.0, עם התקנה על לינוקס, macOS (Apple Silicon) ו-Windows דרך WSL 2.