סאקנה ו-NYU לימדו טרנספורמר לבנות עולמות מיינקראפט בלוק אחרי בלוק

הטוקן הוא הבלוק

סאקנה AI (Sakana AI) ואוניברסיטת ניו יורק שחררו את Dream-Cubed, משפחת מודלי טרנספורמר שיודעת לייצר עולמות תלת-ממד אינטראקטיביים ברזולוציה של בלוק בודד. הרעיון פשוט ועובד: כל בלוק, אבן, מים, חול או עץ, מטופל כטוקן נפרד, והמודל לומד את התפלגות המבנה המרחבי בדיוק כמו שמודל שפה לומד תחביר של משפט. בלי טריקים של רינדור ביניים, בלי המרות, פשוט בלוק אחרי בלוק.

דאטה-סט של 30 מיליארד בלוקים

כדי לאמן את הדבר הזה אספו החוקרים יותר מ-30 מיליארד בלוקים: מעל 1.8 מיליון צ'אנקים פרוצדורליים בגודל 32×32×32, ולצידם יותר מ-200 אלף קטעי מפות שפותחו בידי יוצרים שנתנו אישור מפורש. השילוב בין נופים אלגוריתמיים לבין עיצוב אנושי נותן למודל גם קוהרנטיות גיאולוגית וגם את ה"טאץ'" האדריכלי שמבדיל בין סתם הר לבין בסיס שחקן עם הגיון פנימי. בלי בולשיט, רק דאטה נקי ורישיון מסודר.

מה המודל יודע לעשות בפועל

היכולות מכסות את כל שרשרת העריכה: השלמת עולם סביב מבנה נתון, החלפת ביומים או קטעים נקודתיים, יצירה מתוך בלוקים שהמשתמש הניח ידנית, הרחבת מפה דרך outpainting, ותמיכה בעולמות בגודל כמעט בלתי מוגבל. הניסויים השוו דיפוזיה דיסקרטית מול רציפה, שתי הגישות מניבות עולמות שנשארים עריכים וברי-משחק מיד אחרי הגנרציה, בלי שלב המרה או ניקוי. זה עובד, נקודה.

קוד פתוח מהרגע הראשון

הצוות פרסם את הכל: הדאטה-סט, קוד האימון והאינפרנס, ומשקלים מוכנים לריצה, הכל בריפו של סאקנה ב־GitHub, עם מאמר ב-arXiv ופוסט טכני בבלוג הרשמי. המשמעות היא שכל חוקר או מפתח יכול להריץ את המודלים מקומית, להמשיך לאמן על דאטה משלו, או לשלב את המנוע בכלים קיימים לעריכת עולמות ווקסל. בלי גייטקיפינג, בלי רשימת המתנה.

לאן זה הולך מכאן

Dream-Cubed מדגים שגישת הטוקן-פר-בלוק סקיילבילית ומייצרת תוצאות שימושיות בלי קיצורי דרך. השלב הבא הטבעי הוא הרחבה לסביבות שאינן מיינקראפט, עולמות ווקסל אחרים, סימולציות רובוטיקה, או אפילו תכנון עירוני בדיסקרטיזציה דומה. הקוד פתוח, הדאטה פתוח, והמחסום העיקרי כרגע הוא כוח מחשוב לאימון מודלים גדולים יותר על קונטקסטים מרחביים רחבים יותר.