OpenAI מריצה את שבבי Cerebras בתשתית הפנימית שלה לטיפול בתקלות

לפי שיחה של שון לי (Sean Lie) עם סוויקס (swyx) בפודקאסט Latent Space, OpenAI משתמשת בחומרת ההאצה של Cerebras כדי לקצר זמני תגובה בזמן תקלות, כשכל שנייה של השבתה מתורגמת ישירות לפגיעה בשירות.

למה דווקא Cerebras

Cerebras בונה מעבדי ענק (Wafer-Scale Engine) שמריצים אינפרנס (inference) בקצב שגבוה בסדרי גודל מ-GPU סטנדרטיים. היתרון אינו רק בתפוקה גולמית, אלא בלאטנסי נמוך מאוד לאסימון ראשון, מה שמאפשר למודל לחשוב יותר צעדים באותו חלון זמן. לדברי לי, היכולת לדחוס יותר חשיבה (reasoning) לפרק זמן קבוע משפרת את איכות התגובה האוטומטית כשהמערכת מזהה אנומליה.

תגובה אוטומטית בזמן אמת

במהלך תקלה, מערכות הניטור מייצרות זרם אירועים שדורש סיווג, תעדוף והצעת פעולות מתקנות בתוך שניות. מודל שרץ על חומרה איטית יותר נאלץ לקצר את שרשרת החשיבה או לוותר עליה לגמרי. עם Cerebras, OpenAI יכולה להריץ מודל גדול עם חלון הקשר מלא ומספר צעדי חשיבה, ועדיין להחזיר המלצה לפני שהמהנדס האנושי מספיק לפתוח דשבורד.

מחקר קריטי תחת לחץ זמן

לי ציין שהשימוש מתרחב גם למחקר קריטי (critical research), מצבים שבהם צוות חוקרים צריך להריץ ניסויים או לנתח לוגים תחת דדליין קשיח. היכולת לקבל תשובות מלאות יותר, מהר יותר, משנה את כלכלת הזמן של הצוות: במקום להמתין דקות לכל הרצה, אפשר לאטרר (iterate) בתוך דקות בודדות.

לא החלפה של GPUs

השימוש ב-Cerebras ממוקד במשימות שבהן לאטנסי הוא צוואר הבקבוק העיקרי. לאימון מודלים גדולים ולעומסי ייצור רגילים OpenAI ממשיכה להסתמך על תשתית GPU קיימת. הבחירה היא היברידית: חומרה ייעודית לנקודות הכאב הספציפיות שבהן מהירות האינפרנס קובעת אם תקלה נפתרת בעשר דקות או בשעה.

מה זה אומר על שוק ההאצה

העובדה ש-OpenAI, לקוחה שיש לה גישה לכל חלופה, בוחרת ב-Cerebras למשימת ייצור פנימית, היא איתות משמעותי יותר מכל בנצ'מרק שיווקי. זה לא מוכיח שהארכיטקטורה של Cerebras עדיפה בכל תרחיש, אבל היא מראה שבמקרי קצה של לאטנסי קריטי, הפתרון מחזיק מים.