הסבר פשוט
מטמון (cache) לתשובות חוזרות.
מודל קטן למשימות קלות, גדול לקשות.
מגבילים את אורך ההקשר ואת Top-K.
- cache
- model routing
- limits
תרגול קטן
איזו שאילתה אצלכם חוזרת הכי הרבה? היא מועמדת למטמון (cache).
מקור השראה: Compendium inference/cost ideas rewrite