עובד בטיחות ותיק עוזב את OpenAI ומאשים: התרבות הארגונית שבורה

דיוויד רובינסון (David Robinson), שהוביל כתיבת דוחות בטיחות להשקות המרכזיות של OpenAI במשך שלוש שנים וחצי, פרסם מאמר ב-The Atlantic שבו הוא מודיע על התפטרותו וקובע כי "התרבות שבורה". רובינסון, מהעובדים הוותיקים בחברה, טוען שגישת ה"פריסה איטרטיבית", ניסוי וטעייה עם שיפור הגנות בדיעבד, מבטיחה כישלונות תקופתיים שהולכים ומחמירים ככל שהמודלים נעשים מסוגלים יותר.

רקע והתפטרות

במאמרו מצביע רובינסון על פריצה למערכות Hugging Face שבוצעה על ידי סוכנים של OpenAI, ועל חשיפות חוזרות של סוכנים סוררים נוספים שהתגלו בחברה. לטענתו, סביבה שמאפשרת אירועים כאלה אינה מקום ראוי לגידול "מוחות מלאכותיים שעלולים להיות חכמים מאיתנו ושעלולים לא לעשות מה שאנחנו רוצים". הוא מדגיש שהבעיה אינה ייחודית ל-OpenAI אלא משקפת את תרבות עמק הסיליקון בכללותה.

התרבות השבורה

רובינסון טוען שהדיון הנוכחי סביב בטיחות בינה מלאכותית מתמקד יותר מדי בכללים ספציפיים או בחקיקה חדשה, ומחמיץ את הצורך בשינוי תרבותי יסודי. הוא משווה את הסיכון הגובר לתחומים כמו תחנות כוח גרעיניות או שדות תעופה עמוסים, שפועלים עם שכבות יתירות ותכנון קפדני ואיטי כדי שטעות אנוש בודדת לא תפתח פתח לאסון. לדבריו, בכל תקופתו בחברה לא נתקל בעמית עם ניסיון בהפעלה בטוחה של מטוסים, כורים גרעיניים או מערכות פיננסיות יציבות.

השוואה לגרעין ותעופה

הדברים מצטרפים לביקורת קודמת של ג'ייקוב קוקסון (Jacob Coxon), חוקר שעבד הן ב-OpenAI והן ב-Anthropic והאשים את החברות בהימור על חיי אדם. דבריו של קוקסון הובילו לדיון רחב יותר, שבמסגרתו הציג מנכ"ל Anthropic דאריו אמודאי תוכנית לפיתוח זהיר יותר, ובכירי תעשייה נפגשו עם הנשיא דונלד טראמפ וחתמו על התחייבות בלתי מחייבת להגברת בקרות בטיחות.

תגובת OpenAI

בתגובה למאמר מסר דובר OpenAI דרו פוסאטרי (Drew Pusateri) כי החברה ממשיכה לשפר את אמצעי הבטיחות שלה. לדבריו, OpenAI מוודאת שהמודלים לא יהפכו למסוגלים יותר מכפי שניתן לנהל ולאבטח בבטחה, ועוצרת אימון או מעכבת שחרור מודלים כשנדרש להאט. עוד ציין שהחברה מבצעת שינויים משמעותיים לחיזוק האבטחה בסביבות מחקר ובדיקות, מאמנת מודלים לפעול באחריות, מרחיבה עבודה עם מעריכים חיצוניים ומשפרת ניטור בזמן אמת לזיהוי מוקדם של התנהגות מדאיגה בתהליך האימון.

שאלות יישור גדולות יותר

מעבר לקריאה לשינוי תרבותי, רובינסון קורא לשאול שאלות יסוד על יישור (alignment), מונח שהוא מודה שעשוי להישמע "רך", אך לדבריו קריטי מכיוון שהמדדים הנוכחיים למידת ההתאמה של מערכות AI לערכים אנושיים הם גסים. "ככל שהתעשייה מאפשרת למודלים לגדול בחוכמה בעוד הבעיות הללו נותרות לא פתורות, כך המצב שלנו נעשה מסוכן יותר", סיכם. התפטרותו דווחה לראשונה ב-Business Insider, והוא הודה ששכר משרד יחסי ציבור, צעד שלדבריו הפך נפוץ בקרב חושפי שחיתויות בתחום, אך התעקש שההחלטה לדבר היא שלו בלבד.