Tencent משיקה את SCoPE: שליטה בתנועת מצלמה בווידאו דיפוזיה בלי לאמן מחדש

חוקרים של TencentARC שחררו מודל שמוסיף קואורדינטות קו-ראייה של מצלמה כקידוד מיקום ל-Wan2.2-I2V-A14B הקיים, ומאפשר לה��תיב מסלול מצלמה מדויק מתמונה ראשונה ופרומ��ט טקסט בלי לגעת במשקולות הב��יס. הצ'קפוינט המלא שוקל כ-67 ג'יגה-בייט וכולל בתוכו את כל מה שנדרש לאינפרנס, אין צורך להוריד בנפרד את Wan2.2.

איך זה עובד בפועל

SCoPE מקבל שלוש כניסות: פריים ראשון, תיאור טקסטואלי, ונתיב מצלמה בפורמט OpenCV camera-to-world עם צורה של [81, 3, 4] או [81, 4, 4]. הפרמטר x_fov מגדיר את שדה הראייה האופקי ברדיאנים (מצלמות נקב משתמשות ב-xi=0). המודל הוכשר על ארבעה דאטה��טים, RealEstate10K, DL3DV, PanShot ו-OmniWorld, כולם בפרוטוקול מצלמה משותף: פוזות יחסיות לפריים הראשון, תרגום מנורמל לפי עומ�� קרוב לכל קליפ, וסולם מוחלט שמטופל בתוך המודל על ידי שער סולם נלמד (learned scale gate).

סביבת ריצה ומ��בלות מוצהרות

ה��שקולות שוחררו תחת Apache-2.0 ונבדקו עם PyTorch 2.9.1 על CUDA 12.8; המפתחים ממליצים לשחזר את הסביבה המדויקת עם uv כי שינוי גרסת PyTorch משנה את הפלט המספרי. במסמ�� המלווה מצוין במ��ורש שה��יצועים עלולים להידרדר בפוזות לא מדויקות, במסלולים הרחק מחלוקת האימון, בה��תרות גדולות, או בתנועת מצלמה מהירה במיוחד. המודל יורש את היכולות החזותיות, הה��יות, מגבלות הב��יחות וה��רישות החישוביות של Wan2.2.

קוד פתוח למ��קר, לא מוצר מוגמר

ה��רויקט בנוי על Wan2.2 ועל DiffSynth-Studio, וה��וד זמין ב-GitHub עם תיעוד מלא, אופציות הרצה ודמואים. זו הוצאה מחקרית שמיועדת לעבודה על יצירת וידאו מתמונה עם שליטה בתנועת מצלמה, לא פתרון פרודקשן מלוטש. מי שמתכנן לה��יץ אותו יצטרך אחסון מקומי גם לצ'קפוינט וגם למ��מון של Hugging Face, וכרטיס עם מספיק VRAM ל-14 מיליארד פרמטרים.