הסטארטאפ הצרפתי קוג מבטיח להאיץ הסקה ב-30x על GPU קיימים

הבטחה גדולה על חומרה מוכרת

הסטארטאפ הצרפתי קוג (Kog) טוען שאפשר להוציא הרבה יותר ביצועי אינפרנס מה-GPU שכבר יושבים בדאטה סנטר, בלי לקנות צ'יפים ייעודיים כמו של סרברס (Cerebras). במאי הגיעה החברה לעמוד הראשי של האקר ניוז (Hacker News) עם טק פריוויו שהדגים 3,000 טוקנים לשנייה לבקשה בודדת (TPS) על AMD MI300X ואנבידיה H200. הקאץ': המספר הושג עם מודל קטן בשם Laneformer 2B, רק 2 מיליארד פרמטרים, ששוחרר כאופן סורס. המנכ"ל גאל דלאלו (Gaël Delalleau) טוען שאותה גישה תעבוד גם על מודלים גדולים, ושהתפיסה ש-GPU לא מתאימים לדיקודינג היא מיתוס, רוחב הפס של הדורות החדשים רק מחכה שינצלו אותו.

היוז קייס הראשון: מהנדסי תוכנה שמחכים שעות

לדברי דלאלו, הפידבק המוקדם מ-200 לידים עסקיים מוחשיים הצביע על הנדסת תוכנה כיוז קייס ראשון. משתמשי Claude Code הוותיקים מכירים את ההמתנה של שעות לתוצאות, ו־Anthropic עצמה גובה פרמיה על Fast Mode. קוג מכוונת ללקוחות שנרתעים מהעיכובים האלה כי הם מסתמכים על פייפליינים של AI למשימות פרודקשן. יש גם דיזיין פרטנרס שבונים אפליקציות ומשחקים בפרומפט בודד, ואצלם אינפרנס מהיר יותר מתורגם ישירות להכנסה.

הפער בין הדמו למציאות

הבעיה: הלקוחות הפוטנציאליים לא מוכנים לעשות פיין-טיונינג למודלים קטנים. מאז ההשקה קוג מתמקדת בהאצת מודלים גדולים כדי לעמוד בביקוש שזיהתה. הקפיצה מ-2B פרמטרים למודלים של עשרות ומאות מיליארדים היא לא טריוויאלית, זיכרון, רוחב פס וניהול KV Cache מתנהגים אחרת לגמרי בסקייל הזה. דלאלו משוכנע שהפיזיקה של ה-GPU מאפשרת את זה, אבל בינתיים ה-30x נמדד רק בתנאי מעבדה על מודל צעצוע.

רקע לא שגרתי: פיזיקה במצב מוצק והאקינג הגנתי

דלאלו לא חוקר קלאסי. הוא למד פיזיקה במצב מוצק באקול פוליטכניק (École Polytechnique) בצרפת, ואז עבר לאבטחה התקפית, ווייט האט האקינג. ארבע פעמים הגיע לגמר תחרות CTF בדיפקון (DEFCON). לדבריו, זה לימד אותו לעשות רוורס אנג'ינירינג ברמת אסמבלי וביינרי, להבין איך דברים עובדים מתחת למכסה המנוע, ולנצל אותם למטרות שלא תוכננו עבורן. בגישה המדעית הוא מחפש את "חוקי הפיזיקה של ה-GPU" כדי למקסם אותם. החיסרון: לכל GPU חדש נדרשים שבועות או חודשים של עבודת ידניים עמוקה.

תחרות צרפתית וגישה שונה

קוג לא לבד ברעיון שאופטימיזציית תוכנה יכולה לסחוט יותר מהחומרה. ZML, גם היא מצרפת, שחררה תוכנה אגנוסטית לחומרה שעוקפת CUDA של אנבידיה לטובת אינפרנס מהיר על צ'יפים מתחרים. דלאלו אומר שקוג קרובה יותר למעבדת Hazy Research של סטנפורד (Stanford University), עם פוקוס עמוק עוד יותר על האצת GPU. את סיד הובילה Varsity VC של כמאל זרואל (Kamel Zeroual), לשעבר שותף של דלאלו בסטארטאפ הראשון שלו Stribe (בוגר TechCrunch50 2009), הקשר היחיד בין שני המיזמים.