הסבר פשוט
במשפט ארוך לא הכל חשוב באותה מידה.
המודל נותן 'משקל תשומת לב' למילים רלוונטיות.
זה לב של טרנספורמרים (transformers) — הארכיטקטורה מאחורי GPT וכדומה.
- לא כל מילה שווה
- קשרים בין מילים רחוקות
- בסיס למודלי LLM מודרניים
תרגול קטן
שימו לב באנימציה לקו הבהיר — לשם הולכת תשומת הלב.
מקור השראה: Compendium ch07 transformers