מודל קטן, ביצועים גדולים

חוקרים של OpenAthena משיקים את MarinDNA, מודל שפה גנומי (gLM) בן מיליארד פרמטרים בלבד, שמגיע לביצועים דומים לאלה של Evo 2 40B בחיזוי אפקט וריאנט (VEP), ועושה את זה פי 2,330 יותר מהר. המודל, שפותח על ידי אריק צ'ך (Eric Czech) ושותפים, בנוי על ארכיטקטורת טרנספורמר סטנדרטית במכוון, כדי לאפשר שימוש חוזר בתשתיות ובשיטות אימון מעולם ה-LLM בלי להמציא את הגלגל מחדש.

צוואר הבקבוק: אוצרות נתונים

הצוות זיהה שאוצרות נתונים (data curation) הוא החסם העיקרי במודלים גנומיים: Evo 2 מצטיין ברוב האזורים, אבל נכשל דווקא באנהנסרים (enhancers), האזור היחיד שלא נכלל בכוונה בנתוני האימון שלו. הפתרון היה הקרנה של אנוטציות ENCODE אנושיות ליונקים אחרים באמצעות יישור רצפים (sequence alignment), ובניית תמהיל נתונים אחיד ומאוזן בין אזורים גנומיים. התמהיל האחיד הניב ביצועים כלליים גבוהים יותר מערבוב פרופורציונלי פשוט של כל הדאטה.

כשהסקיילינג מטעה: פרובינג מול אפס-שוט

ביצועי מידול השפה מתואמים היטב עם VEP במורד הזרם, אלא שהצוות נתקל בהפתעה: ביצועי אפס-שוט (zero-shot) במדד LLR על וריאנטי מיסנס מנדליאניים (Mendelian missense variants) הידרדרו ככל שהמודל גדל. פרובינג ליניארי (linear probing) גילה שהייצוגים הפנימיים דווקא משתפרים, הפער הוא בשכבת הראש, לא ביכולת הלמידה. אחרי ניסויי תמהיל נוספים, צ'קפוינט ה-1B סיים עם הביצועים הטובים ביותר בקרב gLMs חד-רצפיים (single-sequence) ב-VEP מנדליאני: יתרון קל באפס-שוט על Evo 2 40B, ופער גדול יותר בפרובינג, תוך שמירה על פשטות ומהירות.

המגבלות וההזדמנות הבאה

החוקרים מציינים במפורש שעדיין לא ברור כמה ערך מוסיפים gLMs חד-רצפיים מעל מודלים שפותחו עם יישורי גנום שלמים (whole-genome alignments) או נתוני גנומיקה פונקציונלית. ההערכה שלהם: ההזדמנות המיידית הגדולה נמצאת דווקא בסט הגדול בהרבה של מינים שאין להם את המשאבים האלה, שם מודל מהיר, קל וסטנדרטי כמו MarinDNA יכול לתת מענה מעשי בלי להזדקק לתשתיות כבדות.