תשובה קצרה: כתריסר מונחים חוזרים כמעט בכל הצעת מחיר לפרויקט AI: LLM, טוקן, חלון הקשר, פרומפט, RAG, embeddings, מסד נתונים וקטורי, fine-tuning, סוכן AI, MCP, הזיה, ומנגנוני הגנה עם evals. מי שמבין מה כל אחד אומר ואילו מהם משפיעים על העלות, משווה הצעות בקלות רבה יותר.
עיקרי הדברים
- טוקן הוא יחידת החיוב: ממשקי המודלים מתמחרים לפי מיליון טוקנים, וטוקני פלט יקרים מטוקני קלט.
- בדרך כלל מתחילים ב-RAG: חיבור המודל למסמכי החברה זול יותר לעדכון מ-fine-tuning.
- לחלון הקשר גדול יש גבול: התיעוד של Anthropic מציין שהדיוק יורד ככל שכמות הטוקנים גדלה.
- Evals הם מבחן הקבלה: סט קבוע של שאלות אמיתיות עם תשובות צפויות מראה אם המערכת עובדת.
מונחי מודל ועלות
| מונח | מה זה | למה זה חשוב |
|---|---|---|
| LLM (מודל שפה גדול) | מודל שאומן על כמויות גדולות של טקסט, כמו GPT, Claude או Gemini. | בחירת המודל קובעת איכות, מהירות ומחיר לבקשה. |
| טוקן | היחידה שהמודל קורא וכותב. לפי OpenAI, באנגלית טוקן הוא בערך ארבעה תווים או שלושה רבעים ממילה. | החיוב לפי טוקנים, ועברית מתפרקת לטוקנים אחרת, אז מודדים על מסמכים אמיתיים. |
| חלון הקשר | כמות הטקסט שהמודל מתייחס אליה בבקשה אחת, כולל התשובה. במודלי Claude הנוכחיים עד מיליון טוקנים. | יותר הקשר עולה יותר לכל בקשה ואינו מבטיח תשובה טובה יותר. |
| פרומפט | ההוראות והחומר שנשלחים למודל. | פרומפט ברור הוא שיפור האיכות הזול ביותר. |
מונחי ידע ונתונים
| מונח | מה זה | למה זה חשוב |
|---|---|---|
| RAG | המערכת מוצאת קטעים רלוונטיים במסמכי החברה והמודל עונה מתוכם. הסבר מלא במדריך ל-RAG וחיפוש מסמכים. | התשובות מתעדכנות כשהמסמכים משתנים, בלי אימון מחדש. |
| Embeddings | רשימות מספרים שמייצגות משמעות של טקסט; טקסטים דומים מקבלים מספרים קרובים. | הם מאפשרים לחיפוש למצוא משמעות גם כשהמילים שונות. |
| מסד נתונים וקטורי | מסד ששומר embeddings ומוצא את הקרובים לשאלה. | שכבת החיפוש של רוב מערכות ה-RAG, כמו סוכן שאלות ותשובות על מסמכים כמו DocBrain. |
| Fine-tuning | אימון נוסף של מודל על דוגמאות כדי לשנות סגנון או התנהגות. | מתאים לפורמט קבוע ופחות לעובדות שמשתנות. השוואה ב-RAG מול fine-tuning מול הקשר ארוך. |
