הייגן ואופן-איי משחררות תשתית פתוחה לסוכני קול עם פנים בזמן אמת

השתיים עבדו יחד על אינטגרציית רפרנס שמחברת את GPT-Live-1, מודל דיבור-לדיבור בדופלקס מלא, עם LiveAvatar של HeyGen, ומוסיפות שכבת תצוגה מונפשת בשם HyperFrames. הקוד פתוח במלואו ומיועד לשמש נקודת התחלה למפתחים שבונים חוויות קוליות עם נוכחות ויזואלית, בלי להמציא את הצנרת מחדש.

ארכיטקטורה מינימלית בכוונה

השרת (Node 20.12 ומעלה, מנוהל ב-pnpm) משמש מתזמר: הוא מקבל אודיו מהדפדפן ב-WebSocket, מזרים אותו ל-GPT-Live דרך ה-Responses API, ומקבל חזרה טקסט, קריאות כלי ואודיו. את האודיו של האווטאר מנתב השרת ישירות לשרת מדיה של LiveKit, והדפדפן מקבל רק טוקן צפייה ב-LiveKit וערוץ WebSocket לתמלילים ולשכבות הוויזואליות. מפתח API לעולם לא יוצא ללקוח.

הדגמה: מורה יפנית עם כרטיסיות וסיכום חי

הדמו שמגיע בקופסה הוא מורה ליפנית: היא מלמדת מילים בקול, מציגה כרטיסייה (מילה, הגייה, משמעות) בדיוק כשהיא אומרת אותה, וכל כמה מילים מצטמצמת לפינה ומריצה פאנל סיכום שמבוסס על רישום השיחה בשרת, לא על זיכרון המודל. האישיות כולה מוגדרת בשני קבצי Markdown תחת `server/prompts/`, וכל אלמנט ויזואלי הוא כלי אחד וקומפוזיציה אחת; החלפתם הופכת את הדמו לכל דבר אחר.

התקנה שבודקת את עצמה

`pnpm run setup` מבקש את שני המפתחות (LiveAvatar ו-OpenAI עם גישה ל-GPT-Live), מאמת אותם מול ה-API החי וכותב `.env` בשורש המאגר. הרצה חוזרת שומרת ערכים קיימים ורק מאמתת מחדש. מי שמעדיף ידנית יכול להעתיק `.env.example` ולמלא. גם `pnpm dev` וגם `pnpm start` מריצים בדיקת קדם-טיסה שמסרבת לעלות עד שכל המשתנים הנדרשים קיימים, ומפרטת בדיוק מה חסר.

מה נשאר למפתח לעשות

הפרויקט לא בוחר אווטאר ולא כותב פרומפט, מזהה אווטאר ברירת מחדל כבר נמצא ב-`.env.example`, והפרסונות ב-`server/prompts/`. עריכת `instructions.md` מגדירה מי האווטאר, עריכת `greeting.md` קובעת איך הוא פותח (קובץ ריק = המשתמש מדבר ראשון). הרעיון: הקוד הוא החיווט, לא מסגרת שמסתירה אותו. פורק, החלף את האישיות, שמור את הפנים.