אפוק AI משיקה ביקורת תקנים למודלים: 9 מתוך 15 נכשלו

אפוק AI (Epoch AI) השיקה אתמול את Benchmark Reviews, יוזמה שנועדה לבדוק את איכות הבנצ'מרקים שבעזרתם התעשייה מודדת יכולות של מודלי שפה. בגל הראשון נבדקו 15 תקנים: 4 קיבלו מעמד Verified, 9 סווגו כ-Flawed, ו-2 נותרו בקטגוריית Not Enough Info כי לא היה מספיק מידע זמין לביקורת.

שלוש קטגוריות, סף אחד ברור

החלוקה מתבססת על רוביקדה פנימית שקובעת שלושה פסקי דין. Verified פירושו שהבנצ'מרק משקף באופן כללי את מה שהוא טוען למדוד, וכל שגיאה שנותרה בו אינה משנה מהותית את התוצאות. Flawed מצביע על פגם מהותי אחד לפחות, ברוב המקרים, יותר מ-20% מהמשימות מכילות שגיאות שפוגעות בדיוק המדידה. Not Enough Info ניתן כשאפוק לא הצליחה להגיע לחומרים הנדרשים; במקרים של בנצ'מרקים פרטיים היא תנסה לתאם ביקורת מול היוצרים תוך שמירת השאלות מחוץ לידיעה הציבורית.

סף ה-20% כקו אדום

הנתון הבולט ביותר הוא רף ה-20%: כשלמעלה מחמישית מהמשימות בבנצ'מרק סובלות משגיאות שמשפיעות על הציון, התקן מקבל אוטומטית תווית Flawed. זהו סף כמותי שנועד להחליף שיפוט סובייקטיבי, והוא חושף עד כמה נפוצות בעיות איכות בכלים שהפכו למדד הסטנדרטי בתעשייה. לכל בנצ'מרק שסומן כ-Flawed תפורסם סקירה מצומצמת שמפרטת את הפגמים שנמצאו; לבנצ'מרקים שזכו ל-Verified תפורסם סקירה מלאה הכוללת גם חולשות ומגבלות שהצוות זיהה.

ניגוד עניינים וגרסאות

כדי להימנע מניגוד עניינים, אפוק אינה מבקרת בנצ'מרקים שהיא עצמה יצרה, ומזמינה גורמים חיצוניים לעשות זאת. כל ביקורת מתייחסת לגרסה ספציפית של הבנצ'מרק; אם המפתחים משחררים גרסה מתוקנת, אפוק עשויה לבדוק אותה מחדש. הממצאים משותפים עם היוצרים לפני פרסום, ואם הם מבקשים להגיב, תפורסם קישור לתגובתם לצד הביקורת.

תוכנית עבודה מתמשכת

הכוונה אינה חד-פעמית. אפוק מתכננת להמשיך ולפרסם ביקורות על בסיס שוטף, תוך תעדוף בנצ'מרקים בעלי השפעה ותפוצה רחבה, וגם כאלה שלדעת הצוות הם איכותיים אך לא זוכים לתשומת לב מספקת. במילים אחרות: הפרויקט מנסה לשמש שכבת בקרה חיצונית על התשתית שעליה נשענות טבלאות ההישגים שכולנו מצטטים.