טנסנט משחררת את SCoPE: שליטה בתנועת מצלמה בווידאו דיפוזיה בלי לאמן מחדש

חוקרים של TencentARC הציגו את SCoPE, מודל שמוסיף קואורדינטות של קו ראייה (sightline) כקידוד מיקומי לטרנספורמר דיפוזיה קיים לווידאו, ומאפשר לכוון את תנועת המצלמה בפריים הראשון בלי לגעת במשקולות הבסיס. המודל בנוי על Wan2.2-I2V-A14B ומגיע כחבילה עצמאית: אין צורך להוריד צ'קפוינט נפרד של Wan, הכול כלול במאגר אחד.

איך זה עובד

במקום לאמן מודל חדש מאפס, SCoPE מזריק את מסלול המצלמה המבוקש ישירות לשכבת הקידוד המיקומי של הטרנספורמר המאומן מראש. הקלט מורכב מפריים ראשון, פרומפט טקסט ונתיב מצלמה (trajectory), והפלט הוא וידאו שעוקב אחרי התנועה המבוקשת תוך שמירה על היכולת החזותית המקורית של Wan2.2. הגישה הזו חוסכת את עלות האימון המלאה ומשאירה את ה"פריור" של המודל הבסיסי שלם.

דרישות חומרה וסביבה לא זניחות

הצ'קפוינט שוקל כ-67 ג'יגה-בייט ודורש אחסון מקומי (לא רק מטמון של Hugging Face). הסביבה שנבדקה רשמית היא PyTorch 2.9.1 עם CUDA 12.8, והצוות ממליץ בחום לשחזר אותה במדויק באמצעות uv, שינוי גרסת PyTorch עלול לשנות את הפלט המספרי. ההתקנה מתבצעת בקלון המאגר, `uv sync` והפעלת הסביבה הווירטואלית.

פרוטוקול מצלמה אחיד ונתוני אימון

המודל אומן על ארבעה דאטהסטים, RealEstate10K, DL3DV, PanShot ו-OmniWorld, כולם משתמשים בפרוטוקול מצלמה משותף: הפוזות מבוטאות יחסית למצלמה הראשונה, התרגום מנורמל לפי עומק קרוב לכל קליפ, והסקייל המוחלט מטופל בתוך המודל על ידי "שער סקייל" נלמד (learned scale gate). פוזות המצלמה צריכות להיות בקואורדינטות OpenCV camera-to-world בצורה [81, 3, 4] או [81, 4, 4], וה-x_fov (שדה ראייה אופקי) ברדיאנים; מצלמת נקב (pinhole) משתמשת ב-xi=0.

מגבלות ושימוש מיועד

הכותבים מציינים במפורש שהמודל מיועד למחקר על יצירת וידאו מתמונה עם שליטה בתנועת מצלמה. הוא יורש את היכולות, ההטיות, מגבלות הבטיחות והדרישות החישוביות של Wan2.2. הביצועים עלולים להידרדר כשהפוזות או האינטרינסיקס לא מדויקים, כשהמסלול רחוק מהתפלגות האימון, בהסתרות גדולות או בתנועת מצלמה מהירה במיוחד. הקוד משוחרר תחת רישיון Apache-2.0.