חוקר בטיחות באנתרופיק: סיכוי של יותר מעשרה אחוזים שה-AI ישמיד את האנושות תוך עשור

אֶוָן הַבִּינְגֶר (Evan Hubinger), שמוביל את אחד מצוותי הבטיחות ב־Anthropic, הודה בפומבי שהחברה מעריכה את הסיכון הקיומי של בינה מלאכותית ביותר מעשרה אחוזים בעשור הקרוב, ובאותה נשימה אישר שעדיין אין לה תוכנית סדורה להבטיח שמערכות מתקדמות יישארו בטוחות ומתואמות לערכים אנושיים. הדברים נאמרו בתגובה ישירה להתפטרותו של ג'ייקוב קוֹקְסוֹן (Jacob Coxon), חוקר בכיר שאימן מודלים באנתרופיק ולפני כן ב-OpenAI, שפרסם ב-X האשמה חריפה: שתי החברות "דוהרות ישר לסופר-אינטליגנציה משפרת-עצמית ומהמרות על החיים שלנו".

ההתפטרות וההאשמה

קוֹקְסוֹן כתב שהאנשים שבונים את הטכנולוגיה "באמת מאמינים שהיא עלולה לחסל את כולנו עד סוף העשור", ובכל זאת החברות תקועות במרוץ שדוחף אותן קדימה למרות הסיכון. הוא תיאר מצב של "נעילה במרוץ" (locked in a race) שבו אף צד לא מוכן להאט, כי היתרון המסחרי של הגעה ראשונה למערכות מתקדמות גובר על שיקולי הבטיחות. זו אחת העזיבות המתוקשרות ביותר מאנתרופיק, חברה שהוקמה מלכתחילה על ידי יוצאי OpenAI שפרשו בגלל חששות בטיחות בדיוק כאלה.

התגובה: הסכמה בלי פתרון

הַבִּינְגֶר לא הכחיש. להפך, הוא אישר שהחשש מסופר-אינטליגנציה משפרת-עצמית "מתממש מהר משחשבנו", והסכים עם התיאור של קוֹקְסוֹן שהמפתחים "באמת מאמינים" בסיכון הקיומי. ההערכה האישית שלו: יותר מאחד לעשרה תוך עשור. אלא שהחלק המטריד יותר בתגובה היה ההודאה שאנתרופיק "עדיין אין לה תוכנית" להבטחת בטיחות ויישור (alignment) של מערכות מתקדמות, ושהיא "לא בבירור על המסלול" לפתח תוכנית כזו.

מרוץ בלי בלמים

הדינמיקה שקוֹקְסוֹן תיאר אינה חדשה למי שעוקב אחרי התעשייה: מודלים כותבים קוד למודלים הבאים, לולאות שיפור עצמי (recursive self-improvement) הן יעד מוצהר, והקצב מואץ. אלא שעכשיו זה מגיע מגורם פנימי שמוביל צוות בטיחות, לא ממבקרים חיצוניים. ההודאה שאין תוכנית, ושהחברה לא על מסלול לייצר אחת, הופכת את הסיכון התיאורטי לפער מבצעי קונקרטי.

הקשר רחב יותר: הנפקות, סוכנים סוררים וניטור

החלפת הדברים מגיעה כששתי החברות נערכות להנפקות צפויות, וברקע מצטברים דיווחים על "תקריות סוכנים סוררים" (rogue agent incidents) ואזהרות בכירות לגבי יכולת הניטור של מודלי חזית (frontier models). בשנים האחרונות עזבו חוקרים נוספים את OpenAI מאותן סיבות. התמונה המצטברת אינה של כשל נקודתי, אלא של תעשייה שדוחפת יכולת מהר יותר מיכולת הבקרה, וכשאנשי הבטיחות עצמם מודים שהפער לא נסגר.