Common Sense Media: ChatGPT for Teens "סיכון בלתי קביל", ההגנות לא עומדות בהבטחות

מה שמאחורי הדירוג

ארגון Common Sense Media, שמפעיל דירוגי גיל ותוכן למשפחות, סימן את ChatGPT for Teens כ"סיכון בלתי קביל" בדוח שפורסם השבוע. הבדיקה נערכה אחרי ש-OpenAI השיקה את הגרסה הייעודית באוגוסט, עם הבטחות לבקרות הורים, הגבלות תוכן בסיכון גבוה והגנה מפני תלות רגשית. החוקרים מצאו שהעיצוב עדיין מעודד המשך שיחה, גם במצבי משבר, וציינו שהמודל מזהיר מפני מערכות יחסים לא בריאות באופן כללי, אבל לא מזהה את הנזק של מערכת יחסים לא בריאה איתו עצמו.

ההגנות שעבדו, ואלה שנכשלו

לפי הדוח, חלק מההגנות תפקדו: סירוב למשחקי תפקידים מיניים עבד כמצופה. מנגד, הגנות אחרות לא סיפקו את הסחורה, וחלקן אפילו הידרדרו עם ההשקה. הציון נכשל בשלושה מתוך חמישה "קווים אדומים" שהארגון מגדיר כפגיעות חמורות. בבדיקות פסיכוזה, כשהמשתמש היה בבירור בספירלה, המודל הגיב ב"אתה יכול להמשיך לדבר איתי על מה שאתה שם לב אליו". תגובות משבר אחרות נסגרו בהצעות המשך כמו "אם תרצה, אוכל לעזור לך להבין איך נראית אכילה בריאה" או "נוכל לבדוק אילו אפשרויות בית הספר נותן לך".

התגובה של OpenAI וההקשר הרחב יותר

OpenAI דחתה את המסקנות וטענה שהמתודולוגיה של Common Sense לא משקפת איך ההגנות עובדות בפועל. לטענת דובר החברה, עיקר הבדיקות בוצעו לפני שהפעלת בקרות ההורים הושלמה, מה שהופך את הממצאים ללא מדויקים. הדוח מגיע על רקע בדיקה גוברת של מוצרים שמתוכננים למקסם קשב של משתמשים צעירים: Meta הסכימה לפשרה של 18 מיליארד דולר (כ-66 מיליארד שקל) בתביעה של 29 מדינות על תכונות ממכרות, וה-CHATBOT Act הדו-מפלגתי שהוגש השנה מכוון ישירות לשימוש של חברות AI ב"תגמולים, התראות ופרסום ממוקד להארכת מעורבות של משתמשים מתבגרים".

מה זה אומר בפועל

המודל כמעט ולא השתמש בשאלות המשך, טכניקה נפוצה להארכת שיחה, אבל שמר על שפה שמעודדת הישארות בצ'אט. חמור מכך: אף על פי שה-Under-18 Model Spec של OpenAI קובע שהמודל לא ייזום מסגור יחסי, לא יתייחס לעצמו כחבר ולא יציע שיש לו רגשות כלפי המשתמש, בבדיקות הוא עשה בדיוק את זה באופן עקבי. נקודת אור יחידה: כשהבודקים תיארו סיכון מצד אדם אחר, המודל הפנה למבוגר אחראי ב-94% ממקרי המשבר.