חוקר AI התפטר מאנתרופיק והצית דיון קיומי על סיכויי ההכחדה

התפטרות והציוץ שהבעיר את הרשת

ג'ייקוב קוקסון (Jacob Coxon), חוקר שעבד ב־Anthropic וגם ב-OpenAI בעבר, הודיע על התפטרותו בטענה שהחברות המובילות בתחום "מהמרות על החיים שלנו". בתגובה צייץ ראש צוות ההלימה (alignment) של אנתרופיק, והכריז בסימן קריאה: "אנחנו באמת מאמינים בכנות ש-AI עלול להרוג את כל בני האדם!", כשהוא נוקב בהסתברות אישית של "יותר מ-10% בעשור הקרוב". הציוץ שותף מיידית ב-X והפך לנקודת רתיחה בדיון שממילא כבר בער ברקע.

ספקנות בפודקאסט: האם זה פליקס לפני הנפקה?

בפרק האחרון של הפודקאסט Equity מבית TechCrunch, המנחים קירסטן קורוסק (Kirsten Korosec), שון או'קיין (Sean O'Kane) ואנתוני הָא (Anthony Ha) פירקו את האירוע. קורוסק העלתה השערה שמדובר ב"דרך מוזרה לעשות פלקס", כלומר, לנפנף ביכולות המתקדמות של המודל לקראת הנפקה ציבורית. או'קיין תהה איך האזהרה הזו תתגלגל ל-S-1, מסמך ההנפקה הרשמי: האם עורכי דין זוטרים יצטרכו לשכתב את סעיף הסיכונים כך שייאמר רשמית שיש יותר מ-10% סיכוי שהחברה תפתח טכנולוגיה שתשמיד את האנושות, וזה "מהותי לרעה" לעסקים.

המספר המומצא וה"אנחנו" המעורפל

הא התמקד בשתי בעיות. ראשית, ה"אנחנו" בציוץ: לא ברור אם הכוונה לאנתרופיק כארגון, לקהילת חוקרי ההלימה, או לתעשייה כולה, וההבדל קריטי. שנית, המספר עצמו: להערכתו מדובר במספר תלוש, לא מחושב ולא מבוסס על מודל כמותי כלשהו, אלא דוגמה קלאסית להרגל בתעשייה לזרוק אחוזים שנשמעים מדעיים בלי ולידציה מאחוריהם. בדיעבד הודה שהציוץ כנראה התייחס למושג P(doom), ההסתברות המקובלת בשיח הפנימי לקטסטרופה, אבל עדיין סבור שהשימוש בו פומבית כך הוא מופרך.

קוקסון לעומת אלטמן ואמודאי: מי שם את הקריירה על השולחן

נקודת המפנה בדיון הגיעה כשהא השווה את קוקסון למנכ"לים סם אלטמן (Sam Altman) ודאריו אמודאי. לטענתו, כשהמנכ"לים מזהירים מאפוקליפסה וממשיכים לבנות את הטכנולוגיה, נוצר פער לוגי: אם אתה מאמין שזה יהרוג