הסנדבוקס הוא לא קומודיטי, הוא ארכיטקטורה

כל סוכן שכותב קוד צריך מקום להריץ אותו, והשוק הזה כבר מכיל לפחות תריסר ספקים, ארבעה מודלי חיוב לא תואמים, ודפי שיווק שמצטטים קולד-סטארט בתנאים שאף אחד לא מפרסם. ההשוואה של ComputeSDK מיישרת קו ביחידות מידה ובוחנת את חמש הפלטפורמות שרוב הצוותים בודקים, E2B, Daytona, Modal Sandboxes, Cloudflare Sandbox SDK, ו-Vercel Sandbox, לצד Runloop, Fly.io Sprites ו-Northflank כשהן משנות את התשובה.

ארבע השאלות שבאמת קובעות

מטריצות פיצ'רים בקטגוריה הזו הן ברובן רעש. ארבע תכונות משנות ארכיטקטורה, וכל השאר עניין של העדפה: קולד-סטארט תחת עומס מקבילי, כי לולאת סוכן שיוצרת סנדבוקס לכל קריאת כלי משלמת את המס הזה אלפי פעמים ביום; התמדת מערכת קבצים בין תורות, האם תור 2 רואה את ה-pip install מתור 1, או שהסוכן בונה את העולם מחדש; מדיניות יציאה לרשת, האם הסנדבוקס מגיע לאינטרנט, אפשר לכבות את זה, ואפשר לשנות דעה באמצע סשן; וחיוב בזמן סרק, סוכנים מבלים את רוב זמן הקיר בהמתנה למודל, ומישהו משלם על השניות האלה.

המספרים שהספקים לא מספרים

ההצהרות של הספקים אינן ברות-השוואה זו לזו. Daytona מפרסמת תת-90 מילישניות ליצירת סנדבוקס, E2B מצוטטת סביב 150 מילישניות, Modal מדברת על תת-שנייה לקונטיינרים במטמון מראש, אף אחת לא מציינת מקביליות, אזור, גודל תמונה, או האם השעון נעצר באישור API או בפקודה ראשונה שבוצעה. הדאטה-סט הציבורי השימושי ביותר הוא לוח המובילים של ComputeSDK, קוד פתוח שרץ על לוח זמנים, ומודד Time to Interactive: זמן שחולף מיצירה לפקודה ראשונה מוצלחת בתוך הסנדבוקס, 100 איטרציות לספק, שהושקו במקביל בפרץ יחיד, ממארח 4 vCPU בצפון וירג'יניה.

פרץ אינו רציף, והזנב הוא זה שקובע

שלושה דברים בטבלה חשובים יותר מהדירוג. פרץ אינו אותה בדיקה כמו הרצה סדרתית: החציון המהיר ביותר ש-Daytona פרסמה אמיתי, ובהרצה קודמת של דף הספק היא יצרה סנדבוקסים בחציון 0.10 שניות כשהושקו אחד-אחד. בהרצת הפרץ של אוגוסט היא פרסמה את החציון המהיר בשטח והשלימה 37 מתוך 100 נסיונות. חציון שמגיעים אליו רק בשליש מהקריאות אינו מספר לאטנסי, זה מספר קיבולת. לוגיקת ניסיון-חוזר אינה אופציונלית באף אחת מהפלטפורמות. לאטנסי זנב הוא המספר שמתכננים לפיו: החציון של Runloop ושל Modal רחוקים 10 מילישניות זה מזה, אבל ה-P95 של Runloop גדול פי 3.3 מזה של Modal. אם תקציב ה-UX של הסוכן הוא שנייה אחת, החציון אומר לך כמעט כלום.

Cloudflare מודדת מוצר אחר

Cloudflare Sandbox SDK יושב על Cloudflare Containers, שמתזמן מופע קונטיינר ומאתחל תמונה. זו ארכיטקטורתית פעולה כבדה יותר מחידוש VM של Firecracker שחומם מראש, וחציונים של 5 שניות משקפים את זה. הפוסט הרשמי של Cloudflare ל-GA גלוי לגבי צורת הבעיה: אתחול סנדבוקס, שיבוט ריפו, והרצת npm install לוקחים כ-30 שניות, בעוד שחזור אותה סביבה מגיבוי לוקח כשתיים.

איך לשחזר את זה בעצמך

המשימה שכדאי למדוד היא זו שהסוכן שלך מריץ, לא echo hello. רתמה שימושית מריצה אותה יחידת עבודה בכל מקום: התקנת pandas, קריאת CSV, ציור גרף, החזרת PNG. מודדים ארבע נקודות ביקורת בנפרד, t_create עד t_ready עד t_deps עד t_result, מריצים 100 איטרציות סדרתיות ואז 100 מקביליות, מדווחים חציון, P95, P99. רק ככה מקבלים מספרים שמתאימים לפרודקשן, לא לדף נחיתה.