חוקרים נוטשים את החזית: הסיכוי שהבינה המלאכותית תהרוג את כולנו עולה על 10%

רישב ג'יין (Rishub Jain) עזב ביוני את תפקיד חוקר הבינה המלאכותית בגוגל דיפמיינד (Google DeepMind) אחרי שהגיע למסקנה שהוא מאבד שליטה. בעודו עובד על הדור הבא של המודלים, הבין שהשימוש ביכולות הקידוד של הבינה המלאכותית כדי להאיץ את הפיתוח מוציא אותו מהלולאה, בדיוק הכיוון שאליו שואפות המעבדות הגדולות, תחת הכותרת "השתפרות עצמית רקורסיבית". ג'יין סבר שהשארת בני אדם בתמונה קריטית לשמירה על שליטה, והחשש מחוסר שקיפות בבניית היורש הניע אותו להתפטר.

הבהלה התגברה השבוע כשג'ייקוב קוקסון (Jacob Coxon) הודיע על עזיבת Anthropic והזהיר שהחברות "דוהרות ישר לסופר-אינטליגנציה משתפרת-עצמית ומהמרות על החיים שלנו". בכיר באנתרופיק שעוסק בבטיחות אישר את הלך הרוח בפשטות מצמררת: להערכתו האישית, הסיכוי שהבינה המלאכותית תחסל את האנושות בעשור הקרוב עולה על 10%. לדברי נייט סוארס (Nate Soares), מדען מחשב ב-MIRA ומחבר-שותף של הספר "If Anybody Builds It, Everybody Dies", החזון של לולאת שיפור אוטומטית מתחיל להרגיש מוחשי.

יישור הקו נעשה קשה יותר, לא קל יותר

סוארס, ממובילי תחום היישור (alignment), הניסיון הטכני להתאים התנהגות מודלים לערכים אנושיים, מצביע על היפוך מגמה מטריד. "הרבה אנשים פינטזו שיישור הקו יהפוך קל יותר ככל שהמודלים נעשים חכמים יותר, ועכשיו זה נהיה קשה יותר. והם אומרים, 'אוי, שיט'", הוא מתאר. סוארס מספר שהוא משוחח בקביעות עם חוקרים בתוך המעבדות הגדולות שחוששים מהשלכות עבודתם; עצתו להם היא להתפטר, והם משיבים שזה לא ישנה דבר. ההתפטרות של קוקסון, לדבריו, הוכיחה מי צדק.

הלופ התיאורטי שמניע סטארט-אפים ומיליארדים

השתפרות עצמית רקורסיבית מלאה, מחזור אוטונומי שבו מודל מפתח את יורשו החזק יותר, עדיין תיאורטית, ואף מעבדת חזית לא טוענת שהשיגה אותה. ובכל זאת, הרעיון כבר הוליד מיזמים ממומנים היטב כמו Recursive Intelligence, ואזהרות של החברות הגדולות מפני תוצאות בלתי רצויות בסגנון "שוליית הקוסם". דניאל קוקוטיילו (Daniel Kokotajlo), מחבר פרויקט "AI 2027", מדגיש שהגישה הנוכחית, שליחת אלפי סוכנים (agents) לשתף פעולה על בעיה, מסבכת את הפיקוח עוד יותר בגלל המורכבות העצומה.

המרוץ להנפקה גובר על הבטיחות

ברקע עומד מבנה תמריצים שרחוק מלהיות מיושר עם תוצאות רצויות. אופן-איאיי (OpenAI) ואנתרופיק דוהרות לקראת הנפקות ציבוריות, וקוקסון כתב ב-X שבאנתרופיק "הסיכונים מובנים היטב, אבל הם נעולים במרוץ להגיע ראשונים". קוקוטיילו מציין שתוף התופים הזה הלך וגבר הרבה לפני ההתפטרות המתוקשרת, סימן לכך שהחשש אינו אירוע נקודתי, אלא שבר עמוק בתרבות הפיתוח הנוכחית.