vLLM משיק תמיכת Day-0 במודל Step 5 Preview של StepFun הסינית

מה במודל

vLLM שחרר אמש תמיכה מלאה מהיום הראשון במודל Step 5 Preview של StepFun-AI, מודל MoE מולטימודלי שמגיע עם חלון קונטקסט של מיליון טוקן, מנגנון Attention היברידי המשלב sparse ו-sliding-window, ויכולת חיזוי רב-טוקן (MTP). המודל זמין בשתי גרסאות: גרסת BF16 מלאה וגרסת NVFP4 מכומתת שמכילה שכבות בדיוק מעורב (חלקן NVFP4, חלקן BF16) כשהכימות מזוהה אוטומטית מהקונפיגורציה. שתי הגרסאות רצות על אותו דימר Docker: vllm/vllm-openai:step-5-preview.

איך מריצים את זה

ההרצה דורשת גישה למודל ב-Hugging Face (כולל hf auth login) וארבעה כרטיסי B300 (Blackwell) לתצורת FP8, או שמונה H200 (Hopper) לאותה מטרה. על Blackwell מציע vLLM שלוש פריסות מקביליות: TP4, TEP4 ו-DEP4, כשהאחרונות משתמשות ב-MegaMoE למומחים המנותבים, בעוד TP4 נשאר על ה-backend ברירת-מחדל כי MegaMoE דורש מקביליות מומחים. על Hopper יש להכפיל את מספר הכרטיסים ל-8 ולהשמיט את דגל MegaMoE. פרמטר --max-model-len בגרסת NVFP4 מוגבל ל-320,000 טוקן בגלל זיכרון KV cache, והפארסרים --reasoning-parser step5 ו---tool-call-parser step5 נשארים קבועים בשתי הגרסאות.

אימון RL מהיום הראשון

החידוש המשמעותי יותר למפתחים הוא התמיכה המיידית באימון חיזוק (RL) דרך verl, ספריית האימון המבוזרת של ByteDance. המתכון מאפשר לאמן את מודל הטקסט ב-FP8 עם GRPO ו-LoRA על גבי FSDP2, כשה-docker image אותו דבר משמש גם לאינפרנס וגם לאימון. זו הפעם הראשונה ש-vLLM מצמיד תמיכת RL רשמית להשקת מודל חיצוני, ולא רק למודלים של הקהילה הפנימית.

מה זה אומר למפתחים בישראל

קהילת המפתחים הישראלית שעובדת עם vLLM על אשכולות Blackwell ו-Hopper מקבלת כאן מסלול מקוצר: אותו דימר, אותם דגלי מקביליות, ואותו סט פארסרים, בין אם מריצים אינפרנס על 1M טוקן או מאמנים RL על מודל סיני חדש. StepFun לא פרסמה מדדי ביצועים רשמיים מול מתחרים, והמודל עדיין בגרסת Preview; מי שבונה על חלון הקונטקסט המלא יצטרך לתכנן היטב את זיכרון ה-KV cache ולהתאים את --max-num-seqs לכל DP rank.