הסבר פשוט
אם המודל 'שינן' את השאלות — הוא יצליח באימון ויכשל במציאות.
לכן שומרים דוגמאות בצד לבדיקה.
זה נכון גם במערכות RAG וגם בסוכנים: מודדים על מקרים חדשים.
- train = ללמוד
- test = לבדוק ביושר
- אל תדליפו את התשובות לאימון
תרגול קטן
זכרו משפט: 'הצלחה על מה שראית ≠ הצלחה על מה שלא ראית'.
מקור השראה: Compendium ch04/ch06