צוות חוקרים תאילנדי התאים את ערכת הכלים דולמה (Dolma) של Ai2 ובנה את מנגוסטין (Mangosteen)

קורפוס אימון של 47 מיליארד טוקנים למודלי שפה תאילנדיים ## הכלי הפתוח שהגיע לבנגקוק

Ai2 שחררה את דולמה כערכת כלים פתוחה לאצירת (curation) דאטה בקנה מידה גדול, לא רק דאטה-סטים מוגמרים, אלא הצנרת (pipeline) עצמה: סינון, ניכוי כפילויות, בקרת איכות. הרעיון היה שחוקרים יקחו את זה לכיוונים שהצוות המקורי לא צפה. צוות תאילנדי בראשות וואנאפונג פאטת'יאפייבון (Wannaphong Phatthiyaphaibun), דוקטורנט במכון וידיאסירימדי למדע וטכנולוגיה (VISTEC), עשה בדיוק את זה: הם בנו על דולמה קורפוס ייעודי לתאילנדית בשם מנגוסטין, 47 מיליארד טוקנים, והראו שפחות דאטה, כשהוא מסונן נכון, מניב ביצועים טובים יותר.

הבעיה עם הדאטה הקיים

הקורפוסים התאילנדיים הזמינים לציבור נבנו ברובם מזחילה ברשת (web crawls) בלי ביקורת דוברי שפה. החוקרים מצאו תוכן לא ראוי לאימון, ובמקביל החמיצו מקורות איכותיים: ספרים, מאמרים אקדמיים, אתרים רשמיים, כתוביות יוטיוב. לבנות צנרת אצירה מאפס היה פרויקט גדול מדי לצוות קטן; דולמה נתנה נקודת התחלה שאיפשרה להתמקד בהתאמה לתאילנדית במקום להמציא את הגלגל.

התאמות טכניות: תאילנדית זה לא אנגלית

הצנרת המקורית הניחה גבולות משפט ופסקה כמו באנגלית. בתאילנדית אין רווחים בין מילים וסימון משפטים שונה, ניכוי כפילויות ברמת משפט ופסקה מחק כמעט את כל הדאטה. הצוות שמר על ניכוי כפילויות ברמת מסמך ו-URL, החליף כלי זיהוי שפה, כוונן פילטרים איכותיים, והוסיף כללים לדפוסים תאילנדיים נפוצים: למשל עמודי חדשות שמכילים רק קטע מקוטע ואז "קרא עוד", שדרשו סינון נוסף כדי להסיר מאמרים לא שלמים.

תוצאות: זורקים 80% ומקבלים מודל טוב יותר

בניסויים עם מודלי LLM תאילנדיים, הצנרת המותאמת הסירה יותר מ-80% מהדאטה של Common Crawl וכמעט חצי מ-FineWeb2, קורפוס רשת שכבר עבר ניקוי ואצירה לאימון, תוך שמירה או שיפור ביצועים מול מודלים שאומנו על הקורפוסים הגדולים יותר. השיפור התבטא גם במודלים גדולים יותר, ובפרט במבחני ידע תרבותי תאילנדי, מה שהצוות רואה כהוכחה שדאטה רלוונטי מקומית עוזר למודלים לייצג טוב יותר את הקהילות שהם משרתים.

קוד פתוח כמנגנון בקרה

לדברי פאטת'יאפייבון, האופי הפתוח של דולמה איפשר לצוות לבדוק, לשנות, לבחון ולשחזר תוצאות עבור השפה שלהם. המומחיות המקומית, לא רק הקוד, היא שאיפשרה את ההתאמה. מנגוסטין מדגים איך כלי פתוח, כשמוסרים אותו לקהילה שמכירה את השפה ואת הרעש שלה, מייצר דאטה שמודל סגור וגנרי לא היה מגיע אליו.