הסבר פשוט
אם החתיכה גדולה מדי — רעש. קטנה מדי — חסר הקשר.
יש חפיפה (overlap) כדי לא לחתוך משפט באמצע הרעיון.
בחירת גודל chunk היא ניסוי, לא דת.
- chunk = חתיכה
- overlap עוזר
- בודקים איכות שליפה
תרגול קטן
דמיינו חוק עזר: חתיכות בגודל פסקה-שתיים.
מקור השראה: RAG choose_chunk_size concept (rewrite)