Grabette: מערכת פתוחה לאיסוף נתוני רובוטיקה בלי רובוט

למידת רובוטים מתמודדת עם בעיית אספקה ידועה. אמנם יש כיום ארכיטקטורות מדיניות מתקדמות כמו VLA מבוססי transformer, מדיניות diffusion ו-flow-matching, ואף world models, ויש את המשאבים החישוביים (GPUs) לאימון שלהן, אבל מה שחסר הוא נתוני מניפולציה מהעולם האמיתי, בכמויות גדולות ובמגוון רחב. איסוף הנתונים הקלאסי באמצעות טלאופרציה של רובוט יקר ומעיק, דורש חומרה ייעודית וקשה להרחבה. הפתרון שמציעה Grabette, מערכת קוד פתוח שפורסמה לאחרונה, מתעלם מהצורך ברובוט כלל: מספיקים יד אנושית, תפסן, מצלמה ודרך לשחזר את המסלול התלת-ממדי (6-DoF) של תנועת היד.

השראה והבדלים מהשוק

Grabette מבוססת ישירות על ממשק UMI (Universal Manipulation Interface) מאוניברסיטת סטנפורד, שהוכיח כי ניתן לאמן מדיניות ויזואו-מוטורית מהקלטות שטח באמצעות אלגוריתמי SLAM. בשוק קיימים פתרונות סגורים נוספים באותו עקרון, כמו תפסן MEgo של Agibot, תפסן DAS של Genrobot וכפפת לכידת המיומנויות של Sunday Robotics. המטרה של Grabette היא להוריד את החסם מ"יש לי משימה" ל"יש לי מודל מאומן" ככל האפשר, עד לרמה שבה הקלטת דמו מהווה נתוני אימון נגישים לכל אדם שמעוניין לתרום למאגר נתונים פתוח ושיתופי.

חומרה זולה וארכיטקטורת חיישנים

המערכת מורכבת מרכיבים סטנדרטיים שניתן להזמין באופן עצמאי, ללא נעילה לחומרה קניינית: לוח Raspberry Pi, מצלמת Pi רגילה, מצלמת עומק מדף מסוג OAK-D ואנקודרים מגנטיים. Grabette מכילה שתי מצלמות בעלות תפקידים נפרדים. האחת, מצלמת fisheye זולה, מספקת למודל ההיגיון הוויזואלי הקשר היקפי בסגנון מצלמת שורש כף היד. השנייה היא מצלמת RGBD שמבצעת את העבודה הקשה של מעקב המסלול המרחבי המדויק. לאחר האימון, הנתונים מועברים לביצוע על ידי Gripette, תפסן רובוטי תואם המשמש כ-end-effector וחולק את אותו "DNA חומרתי" עם מערכת ההקלטה הידנית.

עיבוד נתונים בלי התקנות

הנתונים נשמרים בפורמט שאינו תלוי ברובוט ספציפי, כאשר ההדגמות מאוחסנות כמיקום קרטזי מקומי של המצלמה בשש דרגות חופש יחד עם מצב התפסן. צינור עיבוד הנתונים רץ מתוך הדפדפן ללא צורך בהתקנה, והפלט הסופי הוא מערך נתונים תקני מסוג LeRobot המתארח ב-Hugging Face Hub. עיצוב זה מאפשר להשתמש באותם נתונים מדויקים להפעלת רובוטים שונים ושיטות למידה שונות, בתנאי שמותקן עליהם תפסן Gripette תואם. המפתחים מציינים כי המערכת פותחה במשך מספר חודשים והגיעה לרמת שימושיות שמצדיקה שיתוף ציבורי, כאשר המטרה המוצהרת היא לאפשר לכל אדם לעבור מרצון להדגים משימה ועד לקבלת מערך נתונים מוכן לאימון, וזאת ללא כל ניסיון קודם נדרש.