OpenRouter משיק Batch API עם הנחה של 50% על רוב המודלים

OpenRouter השיק אתמול את ה-Batch API החדש שלו, שמאפשר להריץ עומסי עבודה אסינכרוניים בחצי מחיר, בתמורה לזמן תגובה משתנה של עד 24 שעות. השירות תומך כבר ביותר מ-70 מודלים, כולל צ'אט, השלמות, הודעות והטמעות (embeddings), ומכוון למשימות כמו תיוג קורפוסים, מילוי הטמעות היסטורי, הרצת מבחני הערכה (eval) או סיכום צבר כרטיסי תמיכה בלילה.

איך זה עובד בפועל

שולחים רשימת בקשות לנקודת הקצה `api/v1/batches` עם ציון צורת ה-endpoint הרצויה, ומקבלים מזהה אצווה. אחר כך מבצעים polling על `GET /api/v1/batches/:id` עד שהסטטוס הופך ל-completed, failed, expired או cancelled. כל בקשה באצווה מחזירה תוצאה עצמאית, כך שכמה שורות כושלות לא מפילות את כל העבודה. הקלט והתוצאות נשמרים ל-30 יום או עד מחיקה ידנית, וכל אצווה מופיעה בלשונית Batches בלוגים עם פירוט מודל, ספק, סטטוס ועלות.

המספרים מהבטא: חציון 7 דקות, לא 24 שעות

בתקופת הבטא בת השבועיים עובדו יותר מ-230 אלף אצוות. החציון סיים ב-7 דקות, האחוזון ה-90 בתוך שעה, וה-99 ב-10.3 שעות. הגורם המשפיע ביותר על המהירות אינו גודל האצווה אלא שעת ההגשה: אצוות שנשלחו בין 5:00 ל-12:00 שעון פסיפיק היו איטיות משמעותית, העשירון האיטי ביותר לקח 2 עד 4.5 שעות. אחרי 18:00 פסיפיק האחוזון ה-90 ירד מתחת ל-50 דקות. אצווה של בקשה בודדת מסתיימת ב-5 עד 11 דקות, ואצווה של 1,000 בקשות ומעלה ב-12 עד 21 דקות.

מה נתמך ומה לא

הניתוב מתבצע לספק יחיד לכל אצווה, ובברירת מחדל נבחר ה-endpoint הזול ביותר למודל אחרי החלת רשימת הספקים המותרים, מדיניות הנתונים והגדרות BYOK. מי שהגדיר מפתח ספק משלו (BYOK) משלם רק את עמלת ה-BYOK. חיפוש רשת (web search) מחויב בתעריף רגיל, לא מוזל. קבצים ותמונות חייבים להיות כתובות URL ציבוריות; אודיו ווידאו עדיין לא נתמכים.