מודל 2-ביט של NVIDIA Nemotron 3.5 Lightning מריץ קריאות כלי במשך 10 דקות עם 22 GB VRAM

ב-Unsloth Desktop, גרסת 2-ביט של Nemotron-3.5 Lightning מסוגלת לבצע קריאות לכלים ברצף של עשר דקות, תוך ניצול של 22 GB זיכרון וידאו בלבד. במהלך ההפעלה המודל מצטט יותר משמונים אתרים, מריץ קוד ומאתר עשרה מיקומים אמיתיים ברחבי העולם. Unsloth Dynamic 2.0, שמלווה את המערכת, משיג דיוק גבוה יותר ומקדים את רוב הקוונטיים המובילים.

המודל פותח על ידי NVIDIA Corporation, והפיתוח שלו נמשך מדצמבר 2025 עד מאי 2026. נתוני האימון הראשוניים נחתכים בספטמבר 2025, והנתונים שלאחר האימון נחתכים במאי 2026. Nemotron ™ הוא חלק ממשפחה של מודלים פתוחים עם משקלים, נתונים ומתכונים זמינים, שמטרתם לשפר יעילות ודיוק בבניית סוכנים AI מותאמים.

הגרסה המלאה ב-BF16 של NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 כוללת שלושים מיליארד פרמטרים, מתוכם שלושה מיליארד פעילים, ומבוססת על ארכיטקטורת Mixture-of-Experts היברידית המשולבת עם שכבות Mamba-2, MoE ושכבות Attention נבחרות. בנוסף, היא משולבת עם שיטות פענוח ספקולטיביות שמאיצות את יצירת הטקסט. המודל מוכן לשימוש מסחרי ויש לו גרסת NVFP4 מותאמת להפקת השהייה ופס-תפוקה מיטבית.

להפעלה מהירה על יחידת H100, ניתן להשתמש ב-vLLM (גרסת Nightly v0.27.1) עם הפקודה:

export MODEL_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16
vllm serve --model $MODEL_CKPT \
--max-num-seqs 128 \
--enable-prefix-caching \
--async-scheduling \
--mamba-backend flashinfer \
--mamba-ssm-cache-dtype float16 \
--enable-mamba-cache-stochastic-rounding \
--mamba-cache-philox-rounds 5

המודל משוייך לרישיון OpenMDW-1.1, ומאפשר שימוש מסחרי בהתאם לתנאי ההורדה.