ילדים לומדים שפה בפחות דאטה, ואף אחד עדיין לא יודע למה

הפער שמסרב להיסגר

בני אדם מדברים זה עם זה לפחות מאה אלף שנה, ובכל הזמן הזה היה רק דבר אחד שלמד שפה אנושית לרמת שפת אם: ילד אנושי. עכשיו יש שניים. ארבע שנים אחרי שחרור ChatGPT, רבים מאיתנו כבר לוקחים כמובן מאליו שאפשר לנהל שיחה טבעית עם הטלפון או הלפטופ. מודלי שפה גדולים כמו Claude, DeepSeek והמודלים של OpenAI מגיעים לרמת שטף וגמישות שמאפשרת להם להתחזות לבני אדם באופן משכנע. אבל מאחורי הווילון החישובי מסתתר קאץ': ללמד מחשב להשתמש בשפה אנושית עדיין דורש כמות לא אנושית של דאטה.

המספרים לא משקרים

מודל שפה גדול יכול לעכל בקלות פי מאה אלף יותר מילים ממה שאדם חווה בתהליך רכישת שפת אם, והרבה יותר ממה שילדים שומעים עד יום ההולדת הראשון, כשהם בדרך כלל מתחילים לתפוס שפה. "ההתקדמות לאחרונה מדהימה," אומר מייקל סי. פרנק (Michael C. Frank), חוקר קוגניציה בסטנפורד, "אבל עדיין צריך לשרוף יער שלם ולגרוף את כל סך הידע האנושי כדי לשחזר אבן דרך שקורית בסלון שלנו במשך שנה." הפער הזה בין ילדים למכונות מכונה "פער יעילות הדאטה" (data efficiency gap), והוא מעלה שאלה מתגרה לחוקרי קוגניציה ואתגר לארכיטקטים של מודלי AI: איך ילדים עדיין עוקפים את המכונות המתוחכמות ביותר שנבנו אי פעם לשפה?

אנלוגיות שממחישות את הסקייל

ההבדל בסדרי גודל ניתן להמחשה רק באנלוגיות. "Claude ראה כמות שפה שעיר שלמה תחווה בדור אחד," אומר איתן גוטליב וילקוקס (Ethan Gotlieb Wilcox), חוקר קוגניציה ובלשן בג'ורג'טאון. אם הייתם מדפיסים על נייר את כל המילים ששימשו לאימון מודל מודרני, הייתם מקבלים ערימה שמגיעה מעבר לתחנת החלל הבינלאומית. מאה מיליון המילים של טרום-מתבגר אנושי, לעומת זאת, היו נערמות לעשרים מטר בלבד, ואפשר להסתדר עם הרבה פחות מזה. מודל Llama 3.1 של Meta, ששוחרר לפני שנתיים, לעס 15 טריליון טוקנים (יחידות דמויות-מילה) בשלב הפרה-טריינינג, השלב העיקרי לפני פיין-טיונינג למשימה ספציפית כמו צ'אטבוט. מודלי חזית (frontier models) עשויים להתאמן על פי עשרה יותר דאטה, אומר וילקוקס, אבל יש רק כזה אינטרנט, ובסופו של דבר, אולי כבר בתחילת שנות השלושים, הבאר של דאטה זמין בקלות עלולה להתייבש.

למה זה משנה לפרקטיקה

הנדסה לאחור של הדרך שבה ילדים לומדים עשויה לאפשר מודלי AI יעילי-דאטה, שיהיו שימושיים לכל דבר, מאימון אפקטיבי על וידאו ועד יצירת צ'אטבוטים שמשרתים קהילות דוברות שפות מיעוט. בדיקת השערות על למידה אנושית במודלי מכונה יכולה גם להכריע שאלות מתמשכות על שפה ומוחות מתפתחים של ילדים: האם נולדנו עם אינסטינקט שפה, או שאפשר, אפילו עקרונית, שילד ילמד שפה נטו מניסיון? האם הדרך שבה אנחנו מעבדים שפה היא גחמה ביולוגית, או שהיא משקפת אילוצים אוניברסליים על האופן שבו שפות יכולות לשמש ולהילמד?

הקושי שמגיע עם הגיל

רובנו מבינים ששפה זה קשה רק כשאנחנו מנסים ללמוד חדשה אחרי הילדות. עבר מושלם, ר' מתגלגלת ותנועות אפיות, גניטיב, פועל מורכב, שולחנות זכריים וכפיות נקביות, רבים הם כלי העינוי הלשוני למבוגר שלומד שפה שנייה.