חוקרי P-Zero משיקים מדד "טעם מחקרי", והמודלים כבר עוקפים מומחים בעלות של 1 ל-30

מה זה בכלל טעם מחקרי

P-Zero Research השיקה את TasteVal, בנצ'מרק שמודד "טעם מחקרי": היכולת של מודל לתכנן ניסויים ולקרוא את התוצאות שלהם על שמונה משימות פיתוח AI אמיתיות. הציון ניתן ביחס לקו בסיס של מומחים אנושיים (קו מקווקו ב-1x), כשהמדד הוא כמות חישוב (compute) שהמודל צורך לעומת המומחים בכל ניסיון. במילים פשוטות: כמה זול ומהיר המודל מגיע לאותה תובנה שאיש מחקר היה מוציא עליה הרבה יותר משאבים.

המסלול מ-GPT-4 ועד היום

לפי הנתונים ש-P-Zero מפרסמים, ההתקדמות הייתה איטית למדי מ-GPT-4 ב-2023 ועד סוף 2025. בדצמבר 2025 השתנה השיפוע: מאז הציונים מוכפלים כל 3.0 חודשים. קצב כזה, אם הוא מחזיק, הופך את המדד הזה לאחד האינדיקטורים המעניינים יותר למעקב, לא כי הוא מודד ידע או שפה, אלא כי הוא מודד את המיומנות שקובעת כמה מהר AI יוכל להתחיל לשפר את עצמו.

מי מוביל עכשיו

Claude Opus 5.5 יושב כרגע על 2.30x את קו הבסיס של המומחים, כלומר מצליח להשיג תוצאות טובות יותר בפחות משליש מהעלות. הוא מקדים את Fable 5.1 ואת GPT-6 Astra. הנתון הבולט יותר הוא העלות: בערך 1/30 מהעלות של ניסיון מומחה אנושי. זה לא אומר שהמודל "חכם יותר" מהחוקרים; זה אומר שהוא יעיל יותר בלהגיע לאותה מסקנה ניסויית ספציפית שהבנצ'מרק בודק.

למה זה משנה לקצב ההאצה

ג'ק קלארק (Jack Clark) ציין אתמול שהעקומה הזו היא אחת הסיבות שהוא מצפה לאבן דרך משמעותית ב-2027. ההיגיון פשוט: אם מודלים משתפרים ביכולת לתכנן ולפרש ניסויים, המיומנות הגרעינית של מחקר AI, אז לולאת השיפור העצמי מתקצרת. TasteVal לא מודד אינטליגנציה כללית; הוא מודד פרודוקטיביות מחקרית ספציפית. ובפרודוקטיביות, המספרים מתחילים להיראות אחרת.

מה חסר בתמונה

הבנצ'מרק חדש, שמונה המשימות הן מדגם מצומצם, וההשוואה למומחים נעשית על אותן משימות בדיוק, לא על מחקר פתוח מקצה לקצה. אין עדיין רפליקציה עצמאית, ואין פירוט מלא של מתודולוגיית הניקוד מעבר ליחס ה-compute. כמו בכל מדד חדש שמפרסם גוף עם אינטרס, כדאי לחכות לאימות חיצוני לפני שמסיקים מסקנות על קווי זמן.