Transformer

ארכיטקטורה

תקציר

Transformer היא ארכיטקטורת רשת נוירונית מ-2017 המבוססת על מנגנון Attention, והיא הבסיס למודלי שפה מודרניים כמו GPT.

Transformer היא ארכיטקטורת רשת נוירונים שהוצגה ב-2017 והפכה לבסיס של מודלי השפה המודרניים. היא מתבססת על מנגנון קשב (Attention) המאפשר למודל לשקול את החשיבות של מילים שונות בטקסט בו-זמנית, בניגוד לרשתות רקורסיביות שעובדות בזרימה סדרתית.

מונחים קשורים

רשתות נוירונים

רשת נוירונים מלאכותית היא מודל חישובי השואב השראה מהמוח, המורכב משכבות נוירונים שלומדים תבניות בנתונים באמצעות משקלים.

יסודות AI

מודלי שפה גדולים

מודל שפה גדול (LLM) הוא מודל AI המאומן על כמויות עצומות של טקסט ומייצר שפה טבעית, מבוסס על ארכיטקטורת Transformer.

שפה וטקסט

הצג נתונים מובנים (JSON-LD)

{
  "@context": "https://schema.org",
  "@type": "DefinedTerm",
  "name": "Transformer",
  "description": "Transformer היא ארכיטקטורת רשת נוירונית מ-2017 המבוססת על מנגנון Attention, והיא הבסיס למודלי שפה מודרניים כמו GPT."
}